ext4 상세

개요

ext4는 리눅스 커널 2.6.28(2008년)에서 첫 도입된 확장 파일 시스템의 네 번째 버전으로, 기존 ext3에서 디스크 포맷과 데이터 구조를 대폭 개선한 범용 파일 시스템이다. Extent 기반 할당, 다중 블록 할당자(MBAlloc), 지연 할당(Delayed Allocation) 등을 통해 대용량 파일 처리 성능과 조각화 방지 능력을 크게 향상시켰으며, 최대 1EB 파일 시스템 크기와 16TB 단일 파일 크기를 지원한다.

ext4는 안정성과 호환성을 최우선으로 설계되어 거의 모든 리눅스 배포판의 기본 또는 선택 파일 시스템으로 사용된다. 특히 RHEL/CentOS 계열에서 기본 파일 시스템으로 채택되어 운영 환경에서 널리 활용되며, ext3에서 무손실 업그레이드가 가능하여 기존 인프라에서의 전환 비용이 낮다. 저널링 메타데이터 체크섬, 온라인 디프래그멘테이션, 빠른 fsck 등의 고급 기능을 통해 데이터 무결성과 유지보수성을 동시에 확보한다.

핵심 개념

Extent 기반 할당

ext3까지는 간접 블록 매핑(indirect block mapping) 방식을 사용하여 각 데이터 블록에 대해 개별적으로 매핑 정보를 저장했다. 이 방식은 대용량 파일에서 매핑 테이블이 비대해지고 삭제/트렁크케이션 성능이 저하되는 문제가 있다. ext4는 이를 대체하여 extent 기반 할당을 도입했다.

Extent는 인접한 연속 디스크 블록의 범위를 하나의 엔트리로 관리하는 구조이다. 예를 들어 100MB 파일을 하나의 extent로 할당하면 25,600개의 개별 블록 매핑 대신 하나의 엔트리로 관리할 수 있다. ext4의 inode는 최대 4개의 direct extent를 포함하며, 초과하는 경우 extent tree(Internal Node)로 확장된다.

다중 블록 할당자 (MBAlloc)

ext3의 블록 할당자는 호출당 단일 블록(4KB)만 할당하였다. 100MB 데이터 기록 시 25,600번의 할당 호출이 필요했으며, 할당자가 전체 할당 패턴을 파악하지 못해 최적화가 불가능했다. ext4는 multiblock allocator(MBAlloc)를 도입하여 단일 호출로 여러 블록을 한 번에 할당한다.

MBAlloc은 할당 정책을 최적화할 수 있는 정보(전체 할당 크기, 파일의 접근 패턴 등)를 확보하므로, 연속 블록 할당과 extent 기반 할당의 효율을 극대화한다. 특히 지연 할당과 결합되어 불필요한 할당을 줄이고 조각화를 최소화한다.

지연 할당 (Delayed Allocation)

기존 파일 시스템은 write() 시스템 호출 시 즉시 블록을 할당하였다. 데이터가 페이지 캐시에 머물 동안에도 블록이 할당되므로, 파일이 계속 성장할 경우 할당자가 최적의 위치를 선택할 수 없는 문제가 발생한다.

ext4는 지연 할당(Delayed Allocation)을 적용하여 write() 시 블록 할당을 연기하고, 데이터가 실제로 디스크에 기록될 때까지 할당을 미룬다. 이를 통해:

• 할당 시점에 파일의 최종 크기를 파악하여 최적 할당 가능
• MBAlloc과 extent가 결합되어 연속 할당 확률 증가
• 조각화 현상 대폭 감소

다만 data=journal 모드에서는 데이터도 저널에 먼저 기록해야 하므로 지연 할당과 O_DIRECT가 비활성화된다. 따라서 ext4의 일반적인 성능 특성은 기본값인 data=ordered나 data=writeback 모드에서 가장 잘 드러난다.

저널링 (Journaling)

ext4는 jbd2(Journaling Block Device 2)를 사용하여 메타데이터 저널링을 구현한다. 저널링 모드는 다음 세 가지로 분류된다:

ext4는 저널 블록 체크섬을 지원하여 저널 손상 시 빠르게 감지하고 복구할 수 있다. 이를 통해 이진 트랜잭션 커밋을 단일 커밋으로 변환하여 최대 20% 성능 향상을 달성할 수 있다.

블록 그룹 (Block Group)

ext4 파일 시스템은 전체 디스크를 고정 크기의 블록 그룹으로 분할한다. 기본 블록 크기 4KB 기준으로 각 그룹은 32,768개의 블록을 포함하며(128MB), 할당자는 같은 파일의 블록을 동일 그룹 내에 유지하여 탐색 시간을 최소화한다.

유연한 블록 그룹(Flexible Block Groups, flex_bg)은 여러 블록 그룹을 논리적으로 그룹화하여 비트맵, inode 테이블 등의 메타데이터를 연속 배치한다. 이를 통해:

• 메타데이터 읽기 시 디스크 탐색 횟수 감소
• 파일 시스템 확장 시 성능 저하 최소화
• inode 할당 효율 향상

디렉토리 인덱싱 (HTree)

ext4는 대형 디렉토리에서 선형 검색 비용이 커지는 문제를 줄이기 위해 HTree 기반 디렉토리 인덱싱을 사용한다. 파일 이름 해시를 기준으로 디렉토리 엔트리를 분산해 저장하므로 수만 개 이상의 파일이 있는 디렉토리에서도 조회와 생성 성능이 급격히 악화되지 않는다. 이 기능은 메일 스풀, 로그 적재 디렉토리, 컨테이너 레이어 캐시처럼 엔트리 수가 많은 워크로드에서 특히 중요하다.

메타데이터 체크섬

ext4는 모든 메타데이터 구조(inode, 디렉토리 엔트리, extents, 비트맵 등)에 CRC-32C 체크섬을 도입하여 데이터 무결성을 강화했다. ext3에서는 체크섬이 없어 메타데이터 손상을 즉시 감지할 수 없었다.

빠른 fsck

ext3에서 fsck은 모든 inode를 순차적으로 검사하므로 파일 시스템이 클수록 시간이 오래 걸린다. ext4는 각 블록 그룹의 inode 테이블 끝에 미사용 inode 목록(체크섬 포함)을 저장하여, fsck이 사용 중인 inode만 검사하도록 한다.

이를 통해 fsck 시간이 최대 20배 단축되며, 대규모 파일 시스템에서도 빠른 복구가 가능하다. 단, 미사용 inode 목록은 fsck 실행 시 생성되므로, 첫 번째 fsck 실행 후부터 성능 향상 효과가 있다.

온라인 디프래그멘테이션

지연 할당과 extent는 조각화를 줄이지만, 장기 사용 시 조각화는 여전히 발생한다. ext4는 e4defrag 도구를 통한 온라인 디프래그멘테이션을 지원하며, 파일 시스템 마운트 상태에서 개별 파일 또는 전체 파일 시스템의 조각 모음이 가능하다.

Inode 관련 기능

• 확장된 inode 크기: 기본 256바이트(ext3 128바이트 대비 2배)로, 나노초 타임스탬프, inode 버저닝, 확장 속성(Extended Attributes)을 위한 공간을 확보
• 나노초 타임스탬프: 수정 시간(mtime) 등의 해상도가 초 단위에서 나노초 단위로 향상
• inode 예약: 디렉토리 생성 시 inode를 사전 예약하여 파일 생성/삭제 성능 향상
• 영속 사전 할당(persistent preallocation): posix_fallocate()를 통해 애플리케이션이 필요로 할 공간을 미리 확보

비교/분석

ext3 vs ext4 주요 개선 비교

성능 특성

ext4 vs 다른 파일 시스템 비교

동작 원리

블록 할당 흐름

1. write() 시스템 호출 시 데이터는 페이지 캐시(Page Cache)에 기록됨
2. 지연 할당에 의해 블록 할당이 연기됨 (디스크 기록 시점까지 대기)
3. 플러시(Flush) 시 MBAlloc이 파일의 최종 크기를 기반으로 최적 블록 위치 결정
4. Extent 기반으로 연속 블록을 할당하고, inode에 extent 엔트리 기록
5. jbd2 저널에 메타데이터 변경 사항을 기록 후 커밋
6. 배리어(Barrier)를 사용하여 저널 데이터가 디스크에 기록된 후 커밋 레코드 기록
7. 커밋 이후 체크포인트 단계에서 실제 메타데이터 블록이 본래 위치에 반영됨

jbd2 저널 동작

jbd2는 순차적 로그 구조로 메타데이터 변경 사항을 기록한다:

1. 트랜잭션 시작 시 새 번호 할당
2. 메타데이터 변경 블록을 저널 영역에 순차 기록
3. 커밋 레코드에 트랜잭션 번호와 체크섬 기록
4. 커밋 레코드가 디스크에 기록되면 트랜잭션 완료
5. 커밋 완료된 트랜잭션은 체크포인트 시 실제 블록 위치로 반영

Inode와 Extent Tree 구조

Inode
├── i_block[60 bytes]: Direct extents (최대 4개)
│   └── 각 extent: [logical_start, length, physical_start]
├── Extent Tree (초과 시)
│   ├── Header (eh_depth, eh_entries)
│   ├── Internal Node: [ei_block, ei_leaf_hi, ei_leaf_lo]
│   └── Leaf: [ee_block, ee_len, ee_start_hi, ee_start_lo]
└── 메타데이터 (UID, GID, 권한, timestamps)

장단점

장점

단점

관련 기술

• 파일 시스템 개요: ext4와 다른 파일 시스템의 전체적인 비교
• Linux 메모리 관리 기초: 파일 시스템과 페이지 캐시의 상호작용
• VFS FS PageCache BlockIO: VFS/FS/page cache/blk-mq 계층에서의 ext4 동작
• SSD Internal Parallelism: SSD 내부 병렬성과 ext4 블록 할당 최적화
• NVMe Architecture: NVMe 스토리지와 ext4 I/O 처리

참고 문헌

• The Linux Kernel Documentation: Filesystems - ext4
• The Linux Kernel Documentation: ext4 General Information
• ext4 Wiki: https://ext4.wiki.kernel.org
• Kernelnewbies.org: Ext4
• Rik Van Riel et al., "ext4 Design Documents and Specification"
• Alex Tomas, "ext4 block and inode allocation"
• e2fsprogs project: https://git.kernel.org/pub/scm/fs/ext2/e2fsprogs.git

핵심 정리

1. ext4는 ext3의 핵심 데이터 구조를 개선한 범용 파일 시스템으로, extent 기반 할당과 MBAlloc을 통해 대용량 파일 처리 성능과 조각화 방지 능력을 크게 향상시켰다.
2. 지연 할당은 write() 시 블록 할당을 연기하여 할당자가 최적 위치를 선택할 수 있게 하며, extent/MBAlloc과 결합되어 조각화를 대폭 감소시킨다.
3. 메타데이터 체크섬과 jbd2 저널은 데이터 무결성을 강화하고, 미사용 inode 목록 기반 빠른 fsck로 대규모 파일 시스템의 복구 시간을 단축한다.
4. 단점으로는 CoW, 네이티브 스냅샷, 데이터 체크섬, 투명 압축 미지원 등이 있으며, 이러한 기능이 필요한 경우 Btrfs/ZFS를 고려해야 한다.
5. ext4는 안정성과 호환성을 최우선으로 설계되어 거의 모든 리눅스 배포판에서 기본 또는 선택 파일 시스템으로 사용되며, 확장된 인프라(1EB/16TB)로 대규모 스토리지 환경에서도 활용된다.