[Heap] ptmalloc2(pthread malloc 2)

Memory Allocator의 일종리눅스에서 사용됨, GLibc에 구현됨목표메모리의 효율적인 관리1. 메모리 낭비 방지▶ 메모리 할당 요청이 발생하면먼저, 해제된 메모리 공간 중에서 재사용할 수 있는 공간이 있는지 탐색여기에 요청된 크기와 같은 크기의 메모리 공간이 있다면 이를 그대로 재사용 ▶ 작은 크기의 할당 요청이 발생하면해제된 메모리 공간 중 매우 큰 메모리 공간이 있는 경우 그 영역을 나누어 주기도2. 빠른 메모리 재사용 ▶ 메모리 공간을 해제할 때, tcache 또는 bin이라는 연결 리스트에 해제된 공간의 정보를 저장해둠 이유: 운영체제가 프로세스에게 제공해주는 가상 메모리 공간은 매우 넓으므로,특정 메모리 공간을 해제한 이후에 이를 빠르게 재사용하려면 해제된 메모리 공간의 주소를 기억하고..

WSL 활성화 ↔ VT-x/EPT or AMD-V/RVI 활성화 전환

WSL 활성화해당 VM이 위치한 폴더의 .vmx 파일 >다음 라인 추가: hypervisor.cpuid.v0 = "FALSE" windows 기능 켜기/끄기 >"Hyper-V"와 "Windows Subsystem for Linux" 켜기 VMware Workstation >Edit > Preferences > Display tab > "Accelerate 3D graphics" 활성화Settings > Processors tab > "Virtualize CPU performance counters"와 "Virtualize Intel VT-x/EPT or AMD-V/RVI" 끄기 관리자 권한으로 PowerShell >dism.exe /online /enable-feature /featurename:Virt..

기타 2024.07.23 0

VMware Ubuntu 브릿지 설정 방법

나는 host machine = Windows 11, guest virtual machine = Ubuntu 22.04였다. 1. (확실치는 않지만) host machine에서제어판 > 네트워크 및 공유 센터 > 어댑터 설정 변경 > 현재 연결된 것 우클릭 > 속성 > VMware Bridge Protocol 체크 2. host machine에서VMware Workstation 열기 > 해당 virtual machine의 Settings > Network Adapter > Network connection 섹션에서 Bridged 선택  3. 해당 virtual machine 들어가서아래 명령어 실행ip addr 만약 거기서 ens33에 "DOWN"으로 되어있다면 -> 아래 명령어 실행sudo ip lin..

기타 2024.07.20 2

[Windows test mode]

>> Test mode (Test Signing Mode) 신뢰할 수 있는 certificate authority(Microsoft 등)가 전자서명해주지 "않은" driver/system file들도 설치/실행 할 수 있다. >> Test mode 끄고 켜는 방법 1. secure boot 해제 test mode의 on off는 secure boot이 해제된 상태에서만 가능하므로 해제한다. 노트북 켠 뒤, 부팅 다되기 전에 F8 눌러 Advanced startup options 진입 > Troubleshoot 클릭 > Advanced options 클릭 > UEFI Firmware Settings 클릭 > Boot > Secure boot control (삼성 노트북 기준) 2. test mode on/..

기타 2024.07.15 0

[Heap] chunk의 구조, free list, malloc(), free()

heap은 variable size memory로서, 프로그램이 실행되는 도중 동적으로 할당/해제되는 메모리 영역이다.malloc()으로 allocate되고 free()로 deallocate된다. chunk의 구조header + chunk header8byte  chunk chunk는 사용되고 있을 때와 free된 때의 모습이 아래처럼 다르다.   free chunk의 double-linked list free chunk끼리는 double-linked list로 이어져 있다.(그림 상에는 single-linked처럼 그려져있지만 아무튼 실제로는 double-linked이다.)  포인터 관계를 자세히 보면 아래와 같다.  malloc()malloc(100)을 통해 chunk를 생성하면 아래와 같이 되며 1..

[File System] LFS(Log-structured File Systems)

Sequential Write: 모든 update는 disk에 sequential하게 write한다.: data block을 disk에 write할 때, sequential하게 Inode와 Inode map도 disk에 write한다.  다만 Sequential write만으로는 최대로 effective하지는 않아서, write buffering 방식도 활용한다. Write buffering: one large write : disk에 write하기 이전에, LFS는 메모리의 update를 추적하고 있다가,그러한 update가 충분한 개수가 모이면 (이것이 segment이다),이들을 disk에 "한꺼번에" write함으로써, disk의 활용이 좀더 효율적이게 된다. ▶example개별 update는 두번..

[File System] Crash Consistency: FSCK and Journaling

💡write() 이후 과정과 crash workload example사용자가 write()를 호출함으로써 이미 있는 파일에다가 data block 하나를 추가하는 workload에서는Data block 추가, Inode 업데이트, Data bitmap 업데이트가 이뤄져야 한다.이들은 disk로 바로 write되지 않고, 일단 main memory의 page cache나 buffer cache에 있다가, file system이 최종적으로 disk로의 write를 결정하면 그때 disk로 write된다. crash cases그럼 crash 상황이란 즉, 위 3개 중 0개 or 1개 or 2개 성공의 상황일 것이다.이중 애매하게 1개 or 2개만 성공하는 경우 뭔일이 나는지 살펴보자. ▶1개만 성공여기에도 ..

[File System] FFS(Fast File System)

이전 방식 (VSFS)의 문제점VSFS는 disk를 random access memory로서 다뤘기에, 데이터가 여기저기에 퍼져버림. 이 때문에,한 파일의 inode와 data block이 너무 멀리 있어서,파일의 inode를 먼저 읽고 이후에 data block을 읽는 아주 일반적인 동작마저도 상당히 expensive함. 또한, 논리적으로는 연속적인 하나의 파일인데도 물리적으로는 분산돼있을 수 있어서 (아래 그림 참고),sequential read/write가 불가능하고 disk를 앞뒤로 왔다갔다해야 하니, 성능이 매우 떨어짐. 따라서,disk 내의 데이터 구조를 어떻게 organize해야 성능을 높일 수 있을지가 문제였다. FFS의 Cylinder groupFFS는 disk의 물리적 특성을 고려한다...

[File System] VSFS(very simple file system)

overall organization▶block: 위 사진에서 각각의 작은 네모 하나. 4kB  ▶Data region: user data 저장  ▶Inode: 파일의 주요 metadata 정보 (파일이 나뉘어있는 data block이 어떤건지, 파일 크기, 소유자, 파일에 대한 접근 권한과 접근/수정 시간 등)를 track하기 위해 이들이 저장된 곳- inode number에 의해 위치가 계산되어 refer- 위 사진의 Inode table에서 주황색 네모 하나. 256B- 위 사진 기준으로는 Inode가 총 80개이므로, 가능한 최대 파일 개수도 80개이다. ▶Inodes(Inode table): Inode의 array임 ▶Bitmap: Inode나 Data block의 free(0) / alloca..

[File System] File & Directory, Hard link & Soft Link

File: byte의 선형 배열임  - low-level filename: inode number create와 remove▶create- fd: fild descriptor - 정수값임  ▶remove  offset: read/write을 시작할 파일 내 위치 ▶offset에 영향을 주는 함수- read()- write()- lseek(): read/write offset을 재설정  ▶traces example write()와 fsync()▶write(): 데이터를 우선 메모리 버퍼에 write하고, '나중에' disk로의 업데이트 ▶fsync(): 즉시 disk에 write함   fork()와 dup()▶fork()- child process는 parent process의 file descriptor..

[Secondary Storage] HDD(Hard Disk Drives), RAID(Redundant Array of Inexpensive Disks)

HDD Basic geometryTrack skewtrack 경계를 건너갈 때일지라도 연속적 read (여러개의 sector read)가 잘 수행되도록.track skew의 원리가 지하철 환승의 매커니즘과 같다는 생각이 들었다.내가 1호선에서 2호선으로 갈아탄다 치자.1호선에서 내린 뒤 2호선이 너무 곧바로 오면,그 열차는 놓치게 되고, 결국 다음 열차를 위해 배차간격을 거의 통으로 기다려야 한다.반면, 만약 2호선이 곧바로가 아니라, 아주 센스있게 "내가 1호선에서 2호선으로 걸어갈 여유가 있도록" 약간 딜레이를 두고 와준다면,나는 2호선 열차를 안전하게 탈 수 있다! 만약 disk가 아래와 같고, 22번과 34번 sector를 순서대로 read하려 한다 치자.22번을 읽은 뒤, head가 34번으로 ..

[I/O Devices] I/O Bus, Canonical device, Polling & Interrupt, DMA, MMIO

system architectureBus: data path ▶1. Memory bus: CPU ↔ memory ▶2. I/O bus: CPU ↔ I/O devices- USB(Universal Serial Bus): univsersal- SCSI, SATA: hard disk만을 위한 bus. - PCIe: 요즘에 device들은 SCSI, SATA 대신 이걸 많이 사용 canonical device ▶interfaceOS는 세 register를 read/write함으로써 device의 작동을 컨트롤함. 여기 구조는 device끼리 거의 비슷함 - status register: device의 현재 상태 - command register: device가 특정 task를 수행하도록 함 - data regi..

[논문] Improving Performance of Autoencoder-Based Network Anomaly Detection on NSL-KDD Dataset

연구 배경Internet에 연결된 device들이 많아짐에 따라 (IoT device) 보안 문제가 점차 대두되고 있어, 네트워크 보안을 위한 안정적 해결책이 요구된다.요즈음에는 여기에 AI의 활용이 제안되고 있으며, AutoEncoder 모델을 활용한 deep learning method는 거대한 네트워크 트래픽 샘플 상에서 anomaly를 탐지하는 task에 많이 사용되고 있다.AutoEncoder는 unsupervised feed-forward neural network이며, input의 reconstruction을 주요 목적으로 한다. 그리고 그 구조는 input - hidden - outptut layer로 대칭적이다. 또한 가장 적은 neuron을 가진 hidden layer를 latent s..

인공지능 2024.05.31 1

[Memory management] Swapping

💡SwappingOS가 memory의 address space 중 현재 그닥 필요하지 않은 부분 (page)을 hard disk drive에 보관해둠으로써,  memory 공간의 부족을 완화하는 것이다. swap space: main memory에 있던 일정한 크기의 page들이 disk 내로 옮겨지는 공간  - 이 공간은 page 단위로 구획돼있어야 한다.  Present Bit in PTE(Page Table Entry) 👇present bit page fault와 page replacement ▶Page fault: physical memory에 존재하지 않는 page에 접근하려 할 때 발생 ▶Page replacement아래 순서로 일어난다.1.load instruction이 수행됨 2. pr..

[Memory management] Paging

이전 글 2024.05.01 - [IT/컴퓨터구조, 운영체제] - [Memory management] Memory virtualization, Dynamic relocation, Segmentation [Memory management] Memory virtualization, Dynamic relocation, Segmentation💡Memory virtualization & Address Space - for Abstraction OS는 physical memory를 virtualize하여,각 프로세스가 전체 메모리를 전부 사용하는 것처럼 보이게 한다. Virtual address를 Physical address로 translate하는 것은 OSintoky.tistory.com 💡3. Paging..

[TF-IDF(Term Frequency-Inverse Document Frequency)] 계산 과정, 강점

TF-IDF의 계산 과정 ✅DTM(Document-Term Matrix): 각 문서들 (행)에서 각 단어들 (열)이 등장한 횟수가 담긴 행렬 여기서 문서를 d, 단어를 t, 문서의 총 개수를 n이라고 하겠다. 그러면... ✅tf(d,t): 특정 문서 d에서의 특정 단어 t의 등장 횟수. (= DTM의 각 셀의 값) ✅df(t): 특정 단어 t가 등장한 문서의 수. ✅idf(t): df(t)에 (대략) 반비례하는 수. ✅TF-IDF: TF와 IDF를 곱한 값.  TF-IDF의 강점 DTM에 비해 TF-IDF는 각 단어의 중요성도 반영하여 처리한다는 강점이 있다.TF의 역할: 어떤 단어가 특정 문서에서 많이 등장했다면 가중치를 높혀줌IDF의 역할: 어떤 단어가 많은 문서에서 등장했다면 가중치를 낮춰줌 ∵ d..

인공지능 2024.05.12 0

[Naive Bayes Algorithm] 원리, 종류, 주의사항

Naive Bayes Algorithm의 원리 E2가 참일 때, E1도 참일 확률 (즉, 조건부 확률)은 아래와 같다. 위 원리를 이용하여,feature X가 만족되었을 때, class Ck일 확률은 아래와 같다.  이때, 보통 이 feature는 하나가 아니라 여러 개이므로, 이를 반영하면 아래와 같다.             eg) 날씨&온도&습도&바람에 따라 사람들이 테니스를 칠지/안칠지 예측하는 문제  여기서, Naive Bayes Algorithm은 각 feature가 독립적이라고 가정하므로, 위 식은 아래와 같이 바꿀 수 있다.아래가  Naive Bayes Algorithm의 최종 공식이다.   Naive Bayes Algorithm의 종류 ✅Gaussian Naive Bayes변수가 conti..

인공지능 2024.05.11 0

[Memory management] Memory virtualization, Dynamic relocation, Segmentation

💡Memory virtualization & Address Space - for Abstraction OS는 physical memory를 virtualize하여,각 프로세스가 전체 메모리를 전부 사용하는 것처럼 보이게 한다. 이를 통해 process 간의 isolation을 보장하며, time과 space 면에서 메모리 관리의 효율이 높아진다.  💡1. Dynamic Relocation: HW base  프로세스 하나가 allocation의 unit이다.  ✅Address translationphysical address =  해당 프로세스의 base + virtual address 단, 0 ≤ virtual address  프로그램이 실행을 시작하면, 이 프로세스를 physical memory의 ..

[운영체제란] 운영체제의 역할, HW의 support

운영체제의 역할✅Abstact machinehide underlying details API 제공, system calls✅Resource manager각 application에 시간적/공간적 공유 자원을 allocate    시간적: CPU(app간), network    공간적: memory(app간), disk(user간)한정적 자원의 사용을 효율적으로.   overhead 최소화✅protectionapplication 간에 서로서로 보호 OS 보호 hardware에의 직접적 접근 방지  운영체제를 위한 HW support ✅app이 실행되는 원리OS 실행 시작됨이 OS의 코드는 메모리의 어딘가에 들어감OS의 instruction이 처리됨OS는 사용자 입력을 받아 특정 app을 인식함OS는 실행하려..

[Scheduling in multiple CPU] SQMS, MQMS, CFS, O(1), BFS

Cache Affinity프로세스가 가능한 한 하나의 CPU에서만 실행되게 하는 것 -> 해당 프로세스의 state가 이미 그 CPU의 cache에 남아있으므로, 다음 번에 프로세스가 실행될 때 훨씬 빨라진다. 만약 cache에 해당 프로세스의 state가 없다면, main memory에서 가져와야 하는데, 이것은 cache에 비해 매우 느림. 💡scheduling 방식✅SQMS: Single queue Multiprocessor Scheduling스케줄되어야 하는 job들이 한 queue에 전부 들어가 있다.   단점 - 단일 queue가 여러 CPU에게 공유되어야 하므로 locks가 필요한데, 이 locks는 성능을 크게 떨어뜨리고 scalability가 낮다.- 프로세스들은 매번(매 time sl..

[Scheduling in single CPU] FIFO, SJF, STCF, RR, MLFQ, Lottery, Stride, CFS

💡Scheduling이란?멀티프로그래밍 시스템 (: 실행이 준비된 프로세스가 두 개 이상)에서, OS의 일부인 scheduler는 scheduling 알고리즘을 이용해 무엇을 실행할지 결정한다.🚩스케줄러는 아래와 같이 context switch가 일어나는 모든 순간 invoke되어 다음 실행할 프로세스를 결정한다.   프로세스 생성/종료 후   I/O에서 프로세스 block   I/O 인터럽트 발생    timer 인터럽트 발생 (preemtive한 경우)   ✅스케줄링을 평가하는 metricsturnaround time = 완수된 시점 - 도착한 시점 response time = 처음으로 실행된 시점 - 도착한 시점 fairness = first job이 완수되는 시간 / second job이 완수..

[Synchronization] Condition Variables

💡Condition variables스레드가 실행을 하면 안되는 상황(특정 조건 미충족 등)일 때 자기 스스로를 넣어놓는 queue이다. ✅스레드는 condition variable에 대해 아래와 같은 동작을 수행할 수 있다. - wait(condition_variable, lock): 실행하면 안되는 상황일 때, 스레드 자신의 lock을 release하고 스스로를 어떤 queue에 넣음- signal(condition_variable): 스레드 자신의 state를 바꾸면서, waiting하던 다른 스레드 하나를 깨움 ✅condition variable을 이용하기 위해서는 아래 요소도 필요하다.- state variable: child 스레드가 일을 끝냈는지 여부- locks: state variabl..

[Synchronization] Locks(Mutex)

💡Locks의 개념 ✅Lock 변수 : Lock 변수는 Lock의 상태를 담고 있다. * unlocked: 아무 thread도 lock을 갖고있지 않다. * locked: 딱 하나의 thread가 lock을 갖고 있으며 Critical section 내부에 있다. ✅lock() : lock 획득을 시도한다. 만약 아무 thread도 lock을 갖고있지 않았다면, lock을 획득하고 Critical section에 진입한다. 이 thread가 lock을 갖고있는 동안 다른 thread는 CS 진입이 불가하다. ✅fine-grained approach - better concurrency 여러 개의 변수를 보호하기 위해선 변수마다 하나씩 lock이 있어야 한다. lock() lock() CS1 unlock(..

[Thread] 스레드 사용의 목적, 스레드 vs 프로세스, 스레드의 자원, 스레드 API

💡스레드란 ✅목적 프로세스 간에는 서로의 데이터를 읽을 수 없다. 반면, 스레드끼리는 공유된 메모리를 통해 적은 비용의 커뮤니케이션이 가능하다. 이러한 스레드의 사용으로써, - 리소스가 절약된다. - 여러 request가 감당 가능해진다. - Input/Output 작동과 computation 작동이 동시에 일어날 수 있다. - context switching의 비용이 비교적 덜 든다. - multiprocessor에 더 잘 매핑된다. ✅스레드는 "함수"의 형태로 instruction stream을 실행한다. ✅Process vs. Thread 아래는 한 프로세스에 여러 스레드가 있는 예시이다. 반면 아래는 "프로세스"가 두 개인 것이고, 스레드는 활용되지 않았다. 💡스레드와 Address space 각..

[Process] Process의 개념, Address Space, State, Context switch, API

💡프로세스란 Program: 실행 파일. 코드와 데이터로 이루어져 있음. Process: program의 실행 중인 instance. 💡프로세스의 Address Space (Memory Layout) 모든 각각의 프로세스는 아래와 같이 자신만의 가상 메모리 주소 공간을 가진다. stack: 지역 변수 heap: 동적 할당된 변수 BSS: 초기화되지 않은 정적 변수 data: 초기화된 정적 변수 text: 프로그램 코드 💡프로세스 스케줄링 CPU 안에는 core가 있는데, 이 코어라는 것은 엄밀하게는 한 순간에 하나의 프로세스만을 다룰 수 있으므로, 여러 개의 프로세스가 (거의) 동시에 돌아가기 위해서는 교통정리, 즉 스케줄링이 필요하다. 프로세스의 state ✅New 새 프로세스가 생성되었지만, 아직 운..

[Stack Frame] 프로시저 호출 시의 스택 프레임 살펴보기

코드가 쭉 진행되다가 특정 프로시저가 호출되면, 프로시저가 실행되고 나서 다시 원래의 실행 흐름으로 돌아옵니다. 예시 코드 0x400000: call func: push  &  jmp 0x400005: mov esi, eax...0x401000: push rbp 0x401001: mov rbp, rsp 0x401004: sub rsp, 0x30 0x401008: mov BYTE PTR[rsp], 0x3 ...0x401020: leave: mov rsp, rbp  &  pop rbp 0x401021: ret: pop rip  &  jmp rip   빠르게 보는 전 과정의 메모리 변화  상세한 작동 1. 프로시저 호출2. function prologue: 기존 상태의 기록, 새로운 stack frame의 마..

[Docker] multi-container application: Docker compose

이전 글 👇 2024.02.07 - [IT/DevOps] - [Docker] Database 유지하기: 2. Bind mount [Docker] Database 유지하기: 2. Bind mount이전 글 👇 2024.02.06 - [IT/DevOps] - [Docker] Container의 filesystem, Database 유지하기: 1. Volume mount [Docker] Container의 filesystem, Database 유지하기: 1. Volume mount 이전 글 👇 2024.02.05 - [IT/DevOps] - [Docker] Application 공intoky.tistory.com Docker Compose 대부분의 Application들은 Database를 필요로 하고, Ap..

DevOps 2024.02.07 0

[Docker] Database 유지하기: 2. Bind mount

이전 글 👇 2024.02.06 - [IT/DevOps] - [Docker] Container의 filesystem, Database 유지하기: 1. Volume mount [Docker] Container의 filesystem, Database 유지하기: 1. Volume mount 이전 글 👇 2024.02.05 - [IT/DevOps] - [Docker] Application 공유하기: Docker registry, Docker Hub [Docker] Application 공유하기: Docker registry, Docker Hub 이전 글 👇 2024.02.05 - [IT/DevOps] - [Docker] Application 업데이트하기 [Doc intoky.tistory.com Bind mou..

DevOps 2024.02.07 0

[Docker] Container의 filesystem, Database 유지하기: 1. Volume mount

이전 글 👇 2024.02.05 - [IT/DevOps] - [Docker] Application 공유하기: Docker registry, Docker Hub [Docker] Application 공유하기: Docker registry, Docker Hub 이전 글 👇 2024.02.05 - [IT/DevOps] - [Docker] Application 업데이트하기 [Docker] Application 업데이트하기 이전 글 👇 2024.02.04 - [IT/DevOps] - [Docker] Overview, Containerize an application [Docker] Overview, Containerize an applicat intoky.tistory.com Container의 filesyste..

DevOps 2024.02.06 0

[Docker] Application 공유하기: Docker registry, Docker Hub

이전 글 👇 2024.02.05 - [IT/DevOps] - [Docker] Application 업데이트하기 [Docker] Application 업데이트하기 이전 글 👇 2024.02.04 - [IT/DevOps] - [Docker] Overview, Containerize an application [Docker] Overview, Containerize an application Overview Docker는 우리가 만드려는 Application을 우리의 infrastructure(e.g. 호스트 컴퓨터?)로부터 intoky.tistory.com Share the application ✅ 큰 그림 ✅Docker Hub에서 새 repository 만들기 repository 이름은 getting-st..

DevOps 2024.02.05 0

[Docker] Application 업데이트하기

이전 글 👇 2024.02.04 - [IT/DevOps] - [Docker] Overview, Containerize an application [Docker] Overview, Containerize an application Overview Docker는 우리가 만드려는 Application을 우리의 infrastructure(e.g. 호스트 컴퓨터?)로부터 분리할 수 있게 해줍니다. 따라서 이 Application의 배포가 더 용이해집니다. ✅아주 큰 구조 ✅그 중, Docker intoky.tistory.com Update the application 이미 어떤 App을 containerize한 상황해서, 이 App의 소스코드를 수정해서 다시 containerize하는 방법을 알아보겠습니다. ✅ ..

DevOps 2024.02.05 2

[Docker] Overview, Application containerize하기

Overview Docker는 우리가 만드려는 Application을 우리의 infrastructure(e.g. 호스트 컴퓨터?)로부터 분리할 수 있게 해줍니다. 따라서 이 Application의 배포가 더 용이해집니다. ✅아주 큰 구조 ✅그 중, Docker File & Docker Image & Docker Container의 관계 Docker Container 한 컴퓨터 내에서 여러 서비스를 진행하게 되었을 때, 각 서비스마다 요구하는 프로그램의 버전이 다를 수 있습니다. 따라서, 각 서비스마다 요구하는 특정 버전의 프로그램들끼리만 이 Container에 넣어둔 것입니다. Docker Image 특정 서비스가 요구하는 환경을 기록해두기 위해, linux 컴퓨터 상에서 특정 상태를 캡처하여 박제해놓은..

DevOps 2024.02.04 0

[Node.js와 Session] Session을 이용한 인증 구현 (생활코딩 강의 기반)

✅ 이 실습을 통해 우리가 만드려는 것은 Session 방식을 이용해 로그인과 회원가입 등 인증 기능이 있는 웹사이트입니다. 사용자가 브라우저를 통해 서버에 접속하면서, 브라우저는 쿠키를 서버로 전송한다. 서버 컴퓨터에는 이러한 쿠키들이 session으로서 저장되고, 사용자에게는 단지 식별자 (= Session ID) 쿠키만이 저장된다. Q. 왜 Cookie가 아니라 Session을 사용하나? A. Cookie를 통한 인증은, 가능은 하지만, 보안 상의 문제가 크다. (클라이언트 쪽에 ID와 PW 쿠키가 있으므로) ✅ 디렉토리 구성과 주요 코드 설명 // 주석은 크게 나뉘어진 단계이고, //// 주석은 해당 코드에 대한 자세한 설명입니다. authFunctions.js module.exports = { ..

2024.02.01 2

[Node.js와 Cookie] Cookie의 생성, 읽기, 활용 (생활코딩 강의 기반)

요청과 응답으로만 의사소통했던 웹은 쿠키의 등장으로써 이전의 통신 내용을 기억할 수 있게 되었고, 이 덕분에 개인화나 인증 등이 가능해졌습니다. 이 글에서는 쿠키를 생성하는 법, 읽는 법, 그리고 쿠키가 실제로 어떻게 활용되는지를 공부하도록 하겠습니다. ✅ 실습 파일과 코드 설명 // 주석은 크게 나뉘어진 단계이고, //// 주석은 해당 코드에 대한 자세한 설명입니다. var http = require('http'); var cookie = require('cookie'); var count = 0; //// 단지 확인용... 아래의 createServer가 몇회 째 실행되는건지 체크 http.createServer(function(request, response){ count += 1; console...

2024.01.28 0

[Node.js를 통한 동적 웹사이트 구현 <2>] 사용자도 생성/업데이트/삭제가 가능해졌다..!! with Express (생활코딩 강의 기반)

지난 글 ([Node.js를 통한 동적 웹사이트 구현 ] 중복되는 부분을 template으로! (생활코딩 강의 기반))에서는 동적 웹사이트 구현을 시작해봤었습니다. (아직 사용자의 참여는 불가능) 👇 [Node.js를 통한 동적 웹사이트 구현 ] 중복되는 부분을 template으로! (생활코딩 강의 기반) :: kyagile (tistory.com) ✅ 이 실습을 통해 우리가 만드려는 웹사이트는 이전 글에서 구현한 웹사이트 위에 추가적으로, 서버 운영자가 아닌 일반 사용자도 컨텐츠(가 담긴 웹페이지)의 생성, 업데이트, 삭제가 가능하게끔 합니다. 다만 이전 글에서와 달리 express를 활용합니다. ✅ 디렉토리 구성하기 아래와 같이 디렉토리를 구성하면 됩니다. ✅ main.js, index.js, top..

2024.01.24 0

[Node.js를 통한 동적 웹사이트 구현 <1>] 중복되는 부분을 template으로! (생활코딩 강의 기반)

지난 글 ([웹서버/웹사이트, 웹클라이언트 실습] with HTML, Disqus, Tawk.to (생활코딩 강의 기반))에서는정적 웹사이트를 구현해봤었습니다. 👇 [웹서버/웹사이트, 웹클라이언트 실습] with HTML, Disqus, Tawk.to (생활코딩 강의 기반) :: kyagile (tistory.com) ✅ 정적 웹사이트의 한계 수동적, 반복적 정적 웹사이트에서는 각 페이지의 구현을 위해서 각각의 html 파일이 필요하였고, 이 방식에서는, 페이지들끼리 겹치고 반복되는 부분이 있더라도, 하나로 묶지 못했습니다. 따라서, 새로 넣을 페이지가 이전 페이지들과 유사하더라도, 여전히 처음부터 끝까지 html 파일을 다시 작성해야 했고, 혹여 어느 부분을 조금이라도 수정하고 싶다면, 모든 html의..

2024.01.19 0

[웹서버/웹사이트, 웹클라이언트 실습] with HTML, Disqus, Tawk.to (생활코딩 강의 기반)

이 글은 생활코딩의 WEB1 - HTML & Internet 강의 내용을 제 나름의 구조로 재구성한 것이며, 사용하는 에디터는 VSCode입니다. 1. 인터넷의 기본 구조: 서버와 클라이언트 인터넷이라는 것이 동작하기 위해서는, 최소한 서버 1대와 클라이언트 1대가 필요합니다. 서버 컴퓨터에는 웹서버 프로그램 (eg. Apache, Nginx, ...)이, 클라이언트 컴퓨터에는 웹브라우저 프로그램 (eg. Chrome, Edge, Safari, ...)이 설치돼 있어야 합니다. 서버 컴퓨터에는 어떤 주소 (여기서는 info.cern.ch라 하겠습니다.)가 부여되어 있고, 컴퓨터 어딘가에 index.html이라는 파일이 저장돼 있습니다. 이런 상황에서 우리는 "인터넷"을 이용해, 클라이언트 컴퓨터에서도 서..

2024.01.17 0

[Internet layer (2) - Routing Protocols: IGP, EGP, Link State, Distance Vector, Path Vector] in TCP/IP 4 layer

Routing Protocols ※ Static VS. Dynamic Routing ▶ Static: 관리자가 직접 경로를 지정합니다. ▶ Dynamic: 라우터가 자동으로 라우팅 테이블을 만들어 라우팅합니다. Interior Gateway Protocols (IGP) 한 AS 내에서 라우터들끼리 정보를 교환하는 프로토콜 ✅ Link State - OSPF, ISIS 우선 네트워크 토폴로지 정보를 모든 라우터에게 전달한 다음, 그 후 동시에 라우팅 테이블을 생성합니다. 이로써 모든 라우터는 완벽한 전체 네트워크 토폴로지와 모든 link의 비용을 알게 되며, 이것을 LSD(Link State Database)라 합니다. LSD를 바탕으로 특정 destination을 향한 모든 경로에 대한 지도를 그린 뒤,..

네트워크 2024.01.08 0

[Internet layer (1) - NAT, ICMP, ARP] in TCP/IP 4 layer

Internet layer의 다양한 프로토콜들을 알아보겠습니다! NAT(Network address translation) 목적 - IP 절약: 하나의 공인 IP주소로 여러 대의 호스트가 인터넷 접속 가능 - 보안성 제고: 외부 공격자는 라우터 내부 네트워크의 사설 IP를 알수 없어, 최종 목적지로의 공격이 어려워짐 동작 원리 (S: Source, D: Destination 입니다.) 1) 호스트 → 게이트웨이 (사진 상 위, 왼쪽) S IP: 호스트의 사설 IP주소 D IP: 서버 IP주소 2) 게이트웨이 → 서버 (사진 상 위, 오른쪽) ▶ NAT table: 호스트의 사설 IP주소, 게이트웨이의 공인 IP주소, 목적지 IP주소 포함됨 PAT의 경우: Source 포트번호, 사설망 포트번호 추가됨 S..

네트워크 2024.01.07 0

[Transport layer - TCP, UDP] in TCP/IP 4 layer

TCP (Transmission Control Protocol) 신뢰성 흐름 제어 흐름 제어란? 송신자와 수신의 데이터 속도가 다를 수 있기에, 송신자의 데이터 송신 속도를 제어하여, 수신자가 받을 수 있을 만큼의 데이터만 효율적으로 전송함으로써 수신의 Overflow를 방지하는 것입니다. 다음과 같은 방식들로 구현될 수 있습니다. 1. Stop & Wait . 2. Sliding Window Stop & Wait 방식을 거의 병렬적, 독립적으로, 동시에 여러개를 하는 것? 이건 저만의 생각입니다. sliding window란, 수신자가 수신 가능한 크기 (= Window size) 내에서 패킷을 연속으로 전송함으로써 (ACK를 기다리지 않고), Stop & Wait에 비하여 효율을 크게 높인 것입니다...

네트워크 2024.01.04 0

[Application layer - DNS, DHCP, SMTP, IMAP, POP3, FTP, HTTP] in TCP/IP 4 layer

Application layer의 다양한 프로토콜들을 알아보겠습니다! Name System DNS Domain을 IP address로 전환해줍니다.사용자가 www.example.com이라는 Domain의 IP address를 DNS에게 물으면, DNS는 이에 대한 답을 해줍니다.    사용자가 www.example.com이라는 Domain에 접속하려 할 때, 다음과 같은 과정이 이루어집니다.    (그림의 "recursive"라 표현된 위치는 DNS resolver입니다.) 1. 사용자의 요청은 DNS resolver로 라우팅됨     - DNS resolver는 ISP가 관리함     - 사실, 이렇게 DNS resolver가 요청을 받은 뒤,        DNS resolver의 Cache에 "www..

네트워크 2024.01.02 0

[Pipeline CPU] in RV32I CPU microarchitecture

이 글에 포함된 모든 사진 자료들은 (서태원 지음) 에서 가져왔습니다. Pipeline CPU란 “ pipeline CPU란, single-cycle CPU 구조를 여러 stage로 나누어, 각 부분을 동시에 활용되게끔 하는 것이다. (아래 사진 참고) single-cycle CPU에서는, 하나의 instruction이 완료되고 나서야 그 다음 instruction을 수행한 데 비해, pipeline CPU의 경우, 매 clock cycle의 각 stage에서는 다른 instruction이 실행되고 있다. (아래 사진 참고) “ 전형적인 것은 5-stage pipeline CPU이며, 각 stage는 다음과 같다: IF(Instruction Fetch): 명령어를 읽는 단계 ID(Instruction D..

[Pyinstaller] exe 파일 못 만드는 오류! (yolo ultralytics 관련)

상황 설명은 필요 없고 빠른 해결을 원하신다면 빨간 글자를 따라가주세요! 상황. pyqt를 이용해 인터페이스의 구성과 기능을 정의했으며, 그 기능들 중에는 yolo v8 모델의 predict 메서드를 활용하는 것이 있다. 실제로 실행시킬 main.py는 별개로 작성했으며, 여기서는 위에서 만들어진 인터페이스 py 내의 클래스를 임포트한다. 나는 이 main.py를 exe로 만드려 한다. 우선 새로운 폴더에 프로그램 구동에 필요한 모든 파일 (인터페이스 py 파일, main.py, yolo v8 모델의 pt 파일 정도?) 들을 넣어놓고, 이 폴더 위치에서 터미널을 열어 아래와 같이 실행하였다. pyinstaller -w -F main.py 이를 통해 생성된 작업폴더 > dist > exe 파일을 실행해보았..

DevOps 2023.08.18 2

[Object Detection / Recognition / Tracking] Feature Extraction 기법: SIFT, SURF, ORB

SIFT (Scale Invariant Feature Transform) detects distinctive keypoints(local features) or features in an image that are robust to changes in scale, rotation, and affine transformations We naturally understand that the scale or angle of the image may change, but the object remains the same. BUT machines have an almighty struggle with the same idea. It’s a challenge for them to identify the object..

인공지능 2023.07.29 1

[AI] AI의 기초

1. Supervised Learning : 문제와 정답 제공 (feature & label) 1) Classification : 수많은 개/고양이 사진 입력함 (feature: 사진 & label: 개/고양이) -> 학습하고 특성 이해 -> 개/고양이일 확률 2) Regression ex) 키에 따른 신발 사이즈, 예지정비 2. Unsupervised Learning : feature는 있는데 label이 없음 -> 패턴/구조 발견, 그룹화 정확도에 한계가 있음 anomaly detect 1) Clustering 데이터가 아주 많은데 전부 라벨링하긴 어려울 경우 2) Dimensionality Reduction 3. Reinforcement Learning 보상 제공: 어떤 행위를 했을 때 보상을 제공..

인공지능 2023.05.05 0

3tier 아키텍쳐

첫 번째 계층: Presentation Tier(Client) : 일반 사용자가 직접 액세스 할 수 있는 프레젠테이션 계층 콘텐츠를 HTML/JS/CSS 형식으로 브라우저에 전송 (React, ..) 모든 HTTPS 지원 클라이언트 또는 장치와 통신할 수 있으므로 프레젠테이션 계층은 다양한 형식(데스크톱 어플리케이션, 모바일 앱, 웹페이지, IoT 장치 등)을 유연하게 수행 두 번째 계층: Logic Tier(Application) : 비즈니스 로직이 실행되는 비즈니스 로직 계층 예) 어플리케이션 서버를 사용하고 어플리케이션에 대한 비즈니스 논리를 처리 (C#,Java,C++,Python,..) 세 번째 계층: Data Tier(Database) : 데이터 스토리지 계층 응용 프로그램 데이터에 대한 액세..

DevOps 2023.04.30 0

CIDR (Classless Inter-Domain Routing)

: 클래스 없는 도메인간 라우팅 기법 클래스가 없다: 네트워크 구분을 Class로 하지 않는다 Class: 사이더가 나오기전 사용했던 네트워크 구분 체계 사이더가 나오면서 Class 체계보다 더 유연하게 IP주소를 여러 네트워크 영역으로 나눌 수 있게 됨 Intra-Domain과 같이 각 네트워크 대역을 구분 짓고 Inter-Domain 과 같이 구분된 네트워크간 통신을 위한 주소 체계 CIDR이 "/24" -> 앞에서부터 24비트 이후에 오는 4번째 옥텟을 전부 사용할 수 있다는 표현 143.7.65.203/24 -> 143.7.65.0 ~ 143.7.65.255 까지 사용가능 https://www.ipaddressguide.com/cidr

네트워크 2023.04.30 0