🐧 Linux

cgroup 메모리

개요

cgroup 메모리 컨트롤러는 Linux 커널에서 프로세스 그룹별로 메모리 사용량을 측정하고 제한하는 리소스 관리 메커니즘입니다. 컨테이너, VM, 분리된 워크로드 간에 메모리를 격리하고 할당하여, 특정 애플리케이션이 시스템 전체 메모리를 과도하게 사용하는 것을 방지합니다.

cgroup v2에서는 단일 계층 구조로 통합되어 memory.min, memory.low, memory.high, memory.max 같은 제어 파일을 통해 보호(protection)와 제한(limit)를 동시에 설정할 수 있습니다. 본 문서에서는 cgroup 메모리 컨트롤러의 설계 원리, 제어 인터페이스, 통계 모니터링, 그리고 컨테이너 환경에서의 운영 관점을 분석합니다.

그림 1. cgroup 메모리 컨트롤러의 계층 구조와 리소스 배분 모델

핵심 개념

메모리 컨트롤러 설계

cgroup 메모리 컨트롤러의 핵심은 page_counter라는 카운터입니다. 각 cgroup은 mem_cgroup 구조체를 가지며, 프로세스가 메모리를 할당할 때 해당 cgroup에 요금이 부과됩니다.

charge/uncharge: 프로세스가 메모리를 할당하면 해당 cgroup에 charge되고, 해제되면 uncharge됩니다.
LRU 관리: 각 cgroup은 자체 LRU 리스트를 가지며, 메모리 압박 시 해당 cgroup 내에서 페이지를 교체합니다.
계층적 회계: 부모 cgroup의 사용량은 모든 자식 cgroup의 사용량이 합산됩니다.
공유 페이지: 공유 메모리는 최초 접근한 cgroup에 부과됩니다.

v1과 v2의 차이

cgroup v1과 v2는 메모리 제어 인터페이스와 동작 방식에서 차이가 있습니다.

항목	cgroup v1	cgroup v2
계층 구조	복수 계층 가능	단일 통합 계층
제어 파일	memory.limit_in_bytes	memory.max
보호 메커니즘	없음	memory.min, memory.low
메모리+스왑	memory.memsw.limit_in_bytes	memory.swap.max
OOM 제어	memory.oom_control	memory.oom.group
통계	memory.stat	memory.stat (확장)
커널 메모리	memory.kmem.limit_in_bytes	기본 포함

제어 인터페이스

cgroup v2 메모리 컨트롤러는 다음과 같은 제어 파일을 제공합니다:

memory.min: 절대 보호량. 이 값 이하로는 메모리가 회수되지 않습니다.
memory.low: 최선 노력 보호량. 다른 cgroup에 메모리가 필요할 때까지 보호됩니다.
memory.high: 부드러운 제한. 이 값을 초과하면 메모리 회수가 활성화됩니다.
memory.max: 하드 제한. 이 값을 초과하면 OOM이 발생합니다.
memory.swap.high: 스왑 사용량이 과도하게 늘어날 때 쓰로틀을 거는 경계입니다.
memory.swap.max: 스왑 사용량 하드 제한입니다.
memory.oom.group: OOM 발생 시 그룹 전체를 종료할지 결정합니다.

계층 활성화와 위임

cgroup v2에서 메모리 제어는 memory.* 파일만 쓰는 것으로 끝나지 않습니다. 상위 cgroup에서 cgroup.subtree_control에 +memory를 켜야 하위 cgroup에 메모리 컨트롤러 인터페이스가 나타나며, 부모가 허용한 범위 안에서만 자식이 다시 자원을 분배할 수 있습니다.

또한 non-root cgroup은 내부에 프로세스를 둔 상태에서 도메인 컨트롤러를 자식에게 배분할 수 없다는 no internal process 제약을 받습니다. 실무에서는 system.slice, kubepods.slice, 컨테이너 leaf cgroup처럼 리프에 워크로드를 모아 두고, 중간 노드는 배분 전용 계층으로 두는 구성이 흔합니다.

통계 모니터링

memory.stat 파일은 cgroup의 메모리 사용량에 대한 상세한 통계를 제공합니다:

anon: 익명 메모리 사용량
file: 파일 기반 캐시 사용량
slab: 커널 slab 할당량
sock: 소켓 메모리 사용량
pgfault/pgmajfault: 페이지 폴트 횟수
workingset_refault: 작업 세트 재접근 횟수

운영 시에는 memory.stat만 보지 않고 다음 파일을 함께 보는 편이 유용합니다.

memory.current / memory.peak: 현재 사용량과 최고 사용량을 확인합니다.
memory.events / memory.events.local: high, max, oom, oom_kill 카운터로 제한 초과가 어느 단계까지 진행됐는지 봅니다.
memory.pressure: PSI(Pressure Stall Information)로 회수 압박이 실제 지연 시간으로 이어지는지 확인합니다.
memory.swap.events: 스왑 high/max 초과가 반복되는지 구분합니다.

비교/분석

메모리 제어 모델 비교

모델	동작 방식	지연 시간 영향	적합한 워크로드
hard limit (memory.max)	초과 시 즉시 회수 또는 OOM	높음	완전한 격리가 필요한 경우
soft limit (memory.high)	초과 시 적극적 회수	중간	일반적인 워크로드 격리
protection (memory.min/low)	보호 영역 설정	없음	중요 서비스 보호
swap limit (memory.swap.max)	스왑 사용량 제한	중간	스왑 의존도 제어

OOM 동작 비교

설정	v1 동작	v2 동작
OOM 킬러 기본	개별 프로세스 종료	개별 프로세스 종료
그룹 종료	memory.oom_control에서 비활성화 불가	memory.oom.group=1로 그룹 전체 종료
알림	eventfd로 알림	eventfd로 알림
루트 cgroup	OOM 알림 없음	OOM 알림 없음

운영 설정 관점 비교

운영 목표	우선 설정	함께 볼 지표	주의할 점
중요 서비스 보호	`memory.min`, `memory.low`	`memory.events:low`, `memory.pressure`	보호량을 과도하게 잡으면 다른 cgroup이 계속 압박을 받습니다.
과소비 완화	`memory.high`	`memory.events:high`, PSI	`memory.high`는 즉시 종료가 아니라 쓰로틀과 직접 회수를 유발합니다.
강한 격리	`memory.max`, `memory.oom.group`	`memory.events:max`, `oom_kill`	하드 제한이 너무 낮으면 짧은 버스트에도 OOM이 발생합니다.
스왑 제어	`memory.swap.high`, `memory.swap.max`	`memory.swap.events`, 지연 시간	`swap.high`는 정상 운영 한도가 아니라 비정상 급증 경계에 가깝습니다.

동작 원리

메모리 회수 흐름

프로세스가 메모리를 할당하면 해당 cgroup의 한도를 초과하는지 확인합니다.
memory.high를 초과하면 커널은 해당 cgroup의 태스크를 쓰로틀하고 직접 회수(direct reclaim)를 유도합니다.
회수는 per-cgroup LRU에서 Least Recently Used 페이지를 우선 선택하며, 파일 캐시와 익명 메모리의 비중에 따라 reclaim 경로가 달라집니다.
회수 과정에서 memory.events의 high와 max 카운터가 증가해 운영자가 압박 수준을 추적할 수 있습니다.
memory.max를 넘는 상태가 해소되지 않으면 memcg OOM이 발생하고, memory.oom.group=1이면 해당 워크로드를 그룹 단위로 종료할 수 있습니다.

운영자가 회수를 선제적으로 유도해야 할 때는 memory.reclaim에 바이트 수를 써서 특정 cgroup만 대상으로 proactive reclaim을 걸 수 있습니다. 다만 이는 일반 메모리 압박과 동일한 신호는 아니므로 네트워크 소켓 밸런싱까지 완전히 같은 방식으로 유도되지는 않습니다.

그림 2. memory.high 초과부터 OOM까지의 메모리 회수 동작 흐름

커널 메모리 회수

cgroup v2에서는 커널 메모리도 기본적으로 회수됩니다:

slab 메모리: SLAB/SLUB 할당기에서 할당된 커널 메모리
스택 페이지: 프로세스당 커널 스택
소켓 메모리: 네트워크 소켓 버퍼

커널 메모리 회수는 사용자 메모리 회수와 함께 수행되며, 커널 메모리 독립 제한은 지원하지 않습니다.

스왑 통합

memory.swap.max와 memory.swap.high를 통해 스왑 사용량을 제한할 수 있습니다:

스왑이 제한되면 불필요한 스왑 아웃이 줄어들어 성능이 향상됩니다.
스왑 제한은 메모리 회수 동작에도 영향을 미칩니다.
메모리+스왑 합계 제한이 필요한 경우 메모리 제한과 스왑 제한을 함께 설정합니다.

장단점

장점

프로세스 그룹별로 메모리를 정밀하게 제어할 수 있습니다.
컨테이너와 VM 환경에서 메모리 격리를 보장합니다.
보호(protection)와 제한(limit)를 동시에 설정하여 유연한 리소스 관리가 가능합니다.
실시간 메모리 통계를 통해 사용량을 모니터링할 수 있습니다.
계층적 구조로 복잡한 리소스 배분이 가능합니다.

단점

메모리 회수 시 오버헤드가 발생할 수 있습니다.
OOM 킬러가 예기치 않게 중요 프로세스를 종료할 수 있습니다.
커널 메모리 독립 제한이 제한적입니다.
공유 메모리 회수는 복잡하며 정확한 회계가 어려울 수 있습니다.
작은 cgroup을 너무 많이 생성하면 메타데이터 오버헤드가 증가합니다.

핵심 정리

cgroup 메모리 컨트롤러는 Linux에서 프로세스 그룹별 메모리 격리와 제한을 위한 핵심 메커니즘으로, 컨테이너와 클라우드 환경에서 필수적입니다. cgroup v2에서는 단일 계층 구조와 memory.min/low/high/max 제어 파일을 통해 보호와 제한을 유연하게 설정할 수 있습니다. 메모리 회수는 per-cgroup LRU를 기반으로 동작하며, OOM 킬러는 최후의 수단으로 동작합니다. 운영 환경에서는 메모리 high를 통한 부드러운 제한과 min/low를 통한 중요 서비스 보호를 적절히 조합하여 사용하는 것이 권장됩니다.