IT/컴퓨터구조와 운영체제 21

[Heap] chunk의 구조, free list, malloc(), free()

heap은 variable size memory이며,malloc()으로 allocate되고 free()로 deallocate된다. chunk의 구조header + chunk header8byte  chunk chunk는 사용되고 있을 때와 free된 때의 모습이 아래처럼 다르다.   free chunk의 double-linked list free chunk끼리는 double-linked list로 이어져 있다.(그림 상에는 single-linked처럼 그려져있지만 아무튼 실제로는 double-linked이다.)  포인터 관계를 자세히 보면 아래와 같다.  malloc()malloc(100)을 통해 chunk를 생성하면 아래와 같이 되며 108byte가 return된다. ※ 그림 상 위쪽이 lower ad..

[File System] LFS(Log-structured File Systems)

Sequential Write: 모든 update는 disk에 sequential하게 write한다.: data block을 disk에 write할 때, sequential하게 Inode와 Inode map도 disk에 write한다.  다만 Sequential write만으로는 최대로 effective하지는 않아서, write buffering 방식도 활용한다. Write buffering: one large write : disk에 write하기 이전에, LFS는 메모리의 update를 추적하고 있다가,그러한 update가 충분한 개수가 모이면 (이것이 segment이다),이들을 disk에 "한꺼번에" write함으로써, disk의 활용이 좀더 효율적이게 된다. ▶example개별 update는 두번..

[File System] Crash Consistency: FSCK and Journaling

💡write() 이후 과정과 crash workload example사용자가 write()를 호출함으로써 이미 있는 파일에다가 data block 하나를 추가하는 workload에서는Data block 추가, Inode 업데이트, Data bitmap 업데이트가 이뤄져야 한다.이들은 disk로 바로 write되지 않고, 일단 main memory의 page cache나 buffer cache에 있다가, file system이 최종적으로 disk로의 write를 결정하면 그때 disk로 write된다. crash cases그럼 crash 상황이란 즉, 위 3개 중 0개 or 1개 or 2개 성공의 상황일 것이다.이중 애매하게 1개 or 2개만 성공하는 경우 뭔일이 나는지 살펴보자. ▶1개만 성공여기에도 ..

[File System] FFS(Fast File System)

이전 방식 (VSFS)의 문제점VSFS는 disk를 random access memory로서 다뤘기에, 데이터가 여기저기에 퍼져버림. 이 때문에,한 파일의 inode와 data block이 너무 멀리 있어서,파일의 inode를 먼저 읽고 이후에 data block을 읽는 아주 일반적인 동작마저도 상당히 expensive함. 또한, 논리적으로는 연속적인 하나의 파일인데도 물리적으로는 분산돼있을 수 있어서 (아래 그림 참고),sequential read/write가 불가능하고 disk를 앞뒤로 왔다갔다해야 하니, 성능이 매우 떨어짐. 따라서,disk 내의 데이터 구조를 어떻게 organize해야 성능을 높일 수 있을지가 문제였다. FFS의 Cylinder groupFFS는 disk의 물리적 특성을 고려한다...

[File System] VSFS(very simple file system)

overall organization▶block: 위 사진에서 각각의 작은 네모 하나. 4kB  ▶Data region: user data 저장  ▶Inode: 파일의 주요 metadata 정보 (파일이 나뉘어있는 data block이 어떤건지, 파일 크기, 소유자, 파일에 대한 접근 권한과 접근/수정 시간 등)를 track하기 위해 이들이 저장된 곳- inode number에 의해 위치가 계산되어 refer- 위 사진의 Inode table에서 주황색 네모 하나. 256B- 위 사진 기준으로는 Inode가 총 80개이므로, 가능한 최대 파일 개수도 80개이다. ▶Inodes(Inode table): Inode의 array임 ▶Bitmap: Inode나 Data block의 free(0) / alloca..

[File System] File & Directory, Hard link & Soft Link

File: byte의 선형 배열임  - low-level filename: inode number create와 remove▶create- fd: fild descriptor - 정수값임  ▶remove  offset: read/write을 시작할 파일 내 위치 ▶offset에 영향을 주는 함수- read()- write()- lseek(): read/write offset을 재설정  ▶traces example write()와 fsync()▶write(): 데이터를 우선 메모리 버퍼에 write하고, '나중에' disk로의 업데이트 ▶fsync(): 즉시 disk에 write함   fork()와 dup()▶fork()- child process는 parent process의 file descriptor..

[Secondary Storage] HDD(Hard Disk Drives), RAID(Redundant Array of Inexpensive Disks)

HDD Basic geometryTrack skewtrack 경계를 건너갈 때일지라도 연속적 read (여러개의 sector read)가 잘 수행되도록.track skew의 원리가 지하철 환승의 매커니즘과 같다는 생각이 들었다.내가 1호선에서 2호선으로 갈아탄다 치자.1호선에서 내린 뒤 2호선이 너무 곧바로 오면,그 열차는 놓치게 되고, 결국 다음 열차를 위해 배차간격을 거의 통으로 기다려야 한다.반면, 만약 2호선이 곧바로가 아니라, 아주 센스있게 "내가 1호선에서 2호선으로 걸어갈 여유가 있도록" 약간 딜레이를 두고 와준다면,나는 2호선 열차를 안전하게 탈 수 있다! 만약 disk가 아래와 같고, 22번과 34번 sector를 순서대로 read하려 한다 치자.22번을 읽은 뒤, head가 34번으로 ..

[I/O Devices] I/O Bus, Canonical device, Polling & Interrupt, DMA, MMIO

system architectureBus: data path ▶1. Memory bus: CPU ↔ memory ▶2. I/O bus: CPU ↔ I/O devices- USB(Universal Serial Bus): univsersal- SCSI, SATA: hard disk만을 위한 bus. - PCIe: 요즘에 device들은 SCSI, SATA 대신 이걸 많이 사용 canonical device ▶interfaceOS는 세 register를 read/write함으로써 device의 작동을 컨트롤함. 여기 구조는 device끼리 거의 비슷함 - status register: device의 현재 상태 - command register: device가 특정 task를 수행하도록 함 - data regi..

[Memory management] Swapping

💡SwappingOS가 memory의 address space 중 현재 그닥 필요하지 않은 부분 (page)을 hard disk drive에 보관해둠으로써,  memory 공간의 부족을 완화하는 것이다. swap space: main memory에 있던 일정한 크기의 page들이 disk 내로 옮겨지는 공간  - 이 공간은 page 단위로 구획돼있어야 한다.  Present Bit in PTE(Page Table Entry) 👇present bit page fault와 page replacement ▶Page fault: physical memory에 존재하지 않는 page에 접근하려 할 때 발생 ▶Page replacement아래 순서로 일어난다.1.load instruction이 수행됨 2. pr..

[Memory management] Paging

이전 글 2024.05.01 - [IT/컴퓨터구조, 운영체제] - [Memory management] Memory virtualization, Dynamic relocation, Segmentation [Memory management] Memory virtualization, Dynamic relocation, Segmentation💡Memory virtualization & Address Space - for Abstraction OS는 physical memory를 virtualize하여,각 프로세스가 전체 메모리를 전부 사용하는 것처럼 보이게 한다. Virtual address를 Physical address로 translate하는 것은 OSintoky.tistory.com 💡3. Paging..