🐧 Linux

KSM (Kernel Samepage Merging)

개요

KSM(Kernel Samepage Merging)은 Linux 커널 2.6.32부터 도입된 메모리 중복 제거(deduplication) 기술입니다. KVM 가상화 환경에서 유사한 게스트 OS 이미지 간의 메모리 공유를 위해 개발되었으나, 동일한 데이터를 반복적으로 생성하는 모든 응용 프로그램에 적용할 수 있습니다.

KSM은 커널 스레드인 ksmd가 주기적으로 사용자 메모리 영역을 스캔하여 동일한 내용을 가진 페이지를 찾아 하나의 쓰기 보호 페이지로 병합합니다. 프로세스가 해당 페이지를 수정하려 하면 자동으로 Copy-on-Write(COW)가 발생하여 독립적인 복사본이 생성됩니다. 이를 통해 물리적 RAM 사용량을 크게 줄일 수 있으며, KVM 환경에서는 최대 300%의 오버커밋을 달성할 수 있습니다.

KSM은 madvise(MADV_MERGEABLE)로 등록된 익명(private anonymous) 페이지에만 동작하며, 파일 기반 page cache는 병합하지 않습니다. 병합된 페이지도 스왑아웃될 수 있지만, 다시 스왑인되면 공유 상태가 유지되지 않으므로 ksmd가 동일성을 다시 찾아 재병합해야 합니다.

그림 1. KSM 동작 개요 및 메모리 병합 개념

핵심 개념

ksmd 커널 스레드

ksmd는 KSM의 핵심 동작을 수행하는 커널 스레드입니다. 백그라운드에서 지정된 간격으로 메모리 영역을 스캔하고, 동일한 페이지를 찾아 병합합니다.

sleep_millisecs: 스캔 간격(밀리초). 기본값 20ms
pages_to_scan: 한 번에 스캔할 페이지 수. 기본값 100
run: ksmd 제어 (0: 중지, 1: 실행, 2: 중지+병합 해제)
스캔은 해시 테이블을 이용한 빠른 비교 후 memcmp()로 최종 확인

madvise 인터페이스

KSM은 madvise(2) 시스템 콜을 통해 응용 프로그램이 병합 대상 영역을 직접 지정합니다.

MADV_MERGEABLE: 지정된 주소 범위를 KSM 병합 대상으로 등록
MADV_UNMERGEABLE: 이전에 등록된 병합 대상을 취소하고 이미 병합된 페이지를 해제
CONFIG_KSM이 비활성화된 커널에서는 MADV_MERGEABLE이 EINVAL로 실패
병합 해제 시 갑자기 더 많은 메모리가 필요할 수 있어 OOM 킬러가 발동될 수 있음

stable tree / unstable tree

KSM은 모든 후보 페이지를 매번 완전 비교하지 않기 위해 내부적으로 stable tree와 unstable tree를 사용합니다.

stable tree: 이미 병합된 KSM 페이지를 추적하는 구조로, 여러 프로세스가 참조하는 공유 페이지를 관리
unstable tree: 이번 스캔 주기에서 병합 후보로 발견된 익명 페이지를 임시로 보관하는 구조
해시 비교와 tree 탐색으로 후보를 빠르게 좁힌 뒤 최종적으로 memcmp()로 동일성을 확인
max_page_sharing 한도에 도달한 페이지는 별도 체인 관리가 필요하며, 이 비용이 커지면 VM 연산 지연시간이 증가할 수 있음

sysfs 인터페이스

KSM은 /sys/kernel/mm/ksm/ 디렉토리의 sysfs 파일을 통해 제어됩니다.

파라미터	기본값	설명
`pages_to_scan`	100	한 번에 스캔할 페이지 수
`sleep_millisecs`	20	스캔 간격 (ms)
`run`	0	ksmd 제어 (0:중지, 1:실행, 2:병합해제)
`merge_across_nodes`	1	NUMA 노드 간 병합 허용
`use_zero_pages`	0	제로 페이지 특별 처리
`max_page_sharing`	8192	KSM 페이지당 최대 공유 수
`stable_node_chains_prune_millisecs`	커널 기본값 사용	공유 한도 도달 페이지 메타데이터 정리 주기
`smart_scan`	1	스마트 스캔 (이전 실패 페이지 스킵)

KSM 어드바이저

KSM 어드바이저는 후보 페이지 수의 동적인 변화에 적응하여 pages_to_scan 파라미터를 자동으로 조절합니다.

advisor_mode=scan-time: 스캔 시간 기반 어드바이저 활성화
advisor_target_scan_time: 전체 후보 페이지 스캔 목표 시간(초). 기본값 200초
advisor_max_cpu: ksmd 스레드의 최대 CPU 사용률 상한. 기본값 70%
advisor_min_pages_to_scan/advisor_max_pages_to_scan: pages_to_scan 범위 제한

제로 페이지 최적화

use_zero_pages 옵션은 빈 페이지(zero page)를 특별 처리하여 커널 제로 페이지와 병합하도록 합니다.

use_zero_pages=1로 설정하면 빈 페이지들이 각각 제로 페이지와 병합
색상 제로 페이지(coloured zero page)를 사용하는 아키텍처에서 성능 향상
특정 워크로드에서는 체크섬이 일치하는 빈 페이지를 과도하게 스캔할 수 있어 주의 필요

NUMA 인식 병합

merge_across_nodes 파라미터는 서로 다른 NUMA 노드의 페이지 병합을 제어합니다.

merge_across_nodes=1 (기본값): 모든 노드의 페이지를 병합하여 최대한 많은 공유 달성
merge_across_nodes=0: 동일한 NUMA 노드 내 페이지만 병합하여 접근 지연시간 최소화
NUMA 거리가 큰 멀티노드 시스템에서는 0으로 설정하여 지연시간을 줄이는 것이 효과적
설정 변경 시 먼저 run=2로 모든 공유를 해제한 후 변경해야 합니다

비교/분석

기법	원리	적합한 대상	CPU 비용	메모리 절약 효과	보안 고려
KSM (madvise)	주기적 스캔으로 동일 페이지 병합	KVM, 다중 사용자	중간~높음	높음 (최대 300% 오버커밋)	Side-channel 위험
KSM (global)	전체 익명 페이지 스캔	범용	높음	중간	높은 스캔 비용
COW (fork)	fork 시 페이지 공유, 쓰기 시 복제	프로세스 생성	낮음	중간	안전
투명 거대 페이지	4KB→2MB 페이지 병합	대용량 워크로드	낮음	캐시 효율 향상	안전
페이지 공유 (Uffd)	userfaultfd를 통한 공유	VM 마이그레이션	중간	높음	VM 의존

동작 원리

KSM 스캔 및 병합 흐름

응용 프로그램이 madvise(MADV_MERGEABLE)로 메모리 영역을 KSM에 등록합니다.
ksmd 스레드가 설정된 간격(sleep_millisecs)마다 후보 영역을 스캔합니다.
각 페이지에 대해 해시 값을 계산하고, 동일한 해시를 가진 기존 페이지와 비교합니다.
memcmp()로 페이지 내용이 완전히 일치하면 해당 페이지들을 하나의 쓰기 보호 페이지로 병합합니다.
병합된 페이지를 참조하는 모든 프로세스의 페이지 테이블 엔트리가 하나의 물리 페이지를 가리키도록 변경됩니다.
나중에 어떤 프로세스가 해당 페이지에 쓰기를 시도하면 COW가 발생하여 복제됩니다.

병합 경로:
  App Memory → madvise(MERGEABLE) → ksmd Scan → Hash Compare → memcmp → Merge (COW)

쓰기 경로:
  Process Write → COW Fault → Page Copy → Unmerge

그림 2. KSM 페이지 스캔, 병합, COW 흐름

KSM 수익성 계산

KSM은 메모리를 절약하지만 rmap_item 메타데이터를 저장하기 위해 추가 메모리를 소비합니다. 시스템 전체 수익성은 다음과 같이 계산합니다:

general_profit ≈ ksm_saved_pages * sizeof(page) - (all_rmap_items) * sizeof(rmap_item)

ksm_saved_pages: pages_sharing + ksm_zero_pages의 합
all_rmap_items: pages_sharing + pages_shared + pages_unshared + pages_volatile의 합

프로세스별 수익성은 /proc/<pid>/ksm_stat에서 확인할 수 있습니다:

process_profit ≈ ksm_saved_pages * sizeof(page) - ksm_rmap_items * sizeof(rmap_item)

ksm_rmap_items/ksm_merging_pages 비율이 64비트 CPU에서 64를 초과하면 수익이 거의 없거나 음수

모니터링 지표

/sys/kernel/mm/ksm/ 및 /proc/vmstat에서 KSM 상태를 모니터링할 수 있습니다:

지표	설명
`pages_shared`	공유된 고유 페이지 수
`pages_sharing`	공유를 사용하는 추가 사이트 수 (절약된 메모리)
`pages_unshared`	고유하지만 반복적으로 확인되는 페이지 수
`pages_volatile`	너무 빠르게 변경되어 트리에 배치할 수 없는 페이지 수
`pages_skipped`	스마트 스캔 알고리즘이 건너뛴 페이지 수
`full_scans`	모든 병합 가능 영역이 스캔된 횟수
`stable_node_chains`	`max_page_sharing` 한도에 닿은 KSM 페이지 수
`stable_node_dups`	dedup 한도 때문에 복제된 stable node 수
`ksm_zero_pages`	제로 페이지 최적화로 절약된 페이지 수
`cow_ksm`	KSM 페이지에 쓰기 시 COW 발생 횟수
`ksm_swpin_copy`	스왑인 시 KSM 페이지 복제 횟수

스마트 스캔

smart_scan=1 (기본값)로 설정하면 이전에 병합되지 않은 페이지를 건너뛰어 스캔 효율을 향상시킵니다.

이전 스캔에서 병합에 실패한 페이지는 건너뜀
pages_skipped 지표로 효과 모니터링 가능
스캔 비용을 줄이면서도 병합 가능성을 유지

장단점

장점

메모리 절약: 동일한 페이지를 공유하여 물리적 RAM 사용량 대폭 감소
KVM 최적화: 가상화 환경에서 다수의 VM을 더 적은 메모리로 운영 가능
유연한 제어: madvise로 병합 대상을 응용 프로그램이 직접 지정
자동 최적화: 어드바이저가 워크로드에 따라 스캔 파라미터를 자동 조절
NUMA 인식: NUMA 노드 간 병합을 제어하여 접근 지연시간 최소화 가능

단점

CPU 오버헤드: ksmd 스레드가 지속적으로 CPU를 사용하여 스캔 수행
보안 위험: 메모리 공유로 인한 Side-channel 공격 가능성
지연시간 증가: COW 발생 시 추가 지연시간 발생
스왑 시 공유 해제: 스왑아웃 후 스왑인 시 공유가 해제되어 재병합 필요
메타데이터 오버헤드: rmap_item 저장을 위한 추가 메모리 소비

핵심 정리

KSM은 Linux 커널의 메모리 중복 제거 기술로, ksmd 커널 스레드가 주기적으로 메모리를 스캔하여 동일한 페이지를 찾아 쓰기 보호된 하나의 공유 페이지로 병합합니다. KVM 가상화 환경에서 유용하며, madvise 인터페이스를 통해 응용 프로그램이 병합 대상을 직접 지정할 수 있습니다. sysfs를 통한 세밀한 제어와 어드바이저를 통한 자동 최적화가 가능하지만, CPU 오버헤드와 보안 위험과 같은 트레이드오프가 존재합니다. 올바른 설정과 모니터링을 통해 메모리 절약 효과를 극대화할 수 있습니다.