🔒 Security

Rowhammer 방어 기술

개요

Rowhammer 공격이 2014년 처음 보고된 이후 DRAM 메모리 보안은 지속적인 연구와 표준화 작업이 이루어져 왔다. 초기 DDR3 시대의 간단한 리프레시 주기 단축에서 시작하여, 현대 DDR4/DDR5 시대에는 하드웨어 기반 TRR(Target Row Refresh), 소프트웨어 기반 탐지, 그리고 시스템 수준의 다층 방어 체계로 발전했다. 2024-2026년에는 AMD Zen 프로세서와 DDR5 메모리에서의 새로운 공격이 공개되었고, ETH Zurich 연구팀은 모든 TRR 방어를 우회하는 Phoenix를 발표하여 기존 방어 기술의 한계를 드러냈다.

이 문서는 Rowhammer 방어 기술의 분류 체계, 각 기술의 동작 원리와 장단점, 그리고 실무 적용 시 고려사항을 분석한다. 특히 메모리 컨트롤러, DRAM 칩 내장 로직, 운영체제, 그리고 하드웨어 성능 카운터 기반의 다층 방어 전략을 중점적으로 다룬다.

핵심 개념

방어 기술 분류 체계

Rowhammer 방어 기술은 동작 위치에 따라 다음 세 가지 범주로 분류된다:

DRAM 칩 내장 방어: DRAM 칩 자체에 구현된 하드웨어 방어 메커니즘
- TRR (Target Row Refresh)
- On-die ECC
메모리 컨트롤러 기반 방어: CPU/메모리 컨트롤러 수준에서 구현되는 방어
- pTRR (Pseudo Target Row Refresh)
- 리프레시 주기 단축
- 카운터 기반 행 활성화 모니터링
- 메모리 인터리빙 및 주소 매핑 최적화
소프트웨어/OS 기반 방어: 운영체제 커널 수준에서 구현되는 방어
- 하드웨어 성능 카운터 기반 탐지
- 메모리 할당 정책 최적화
- 프로세스 격리 및 권한 관리

TRR (Target Row Refresh) 동작 원리

TRR은 DRAM 칩 내부에 구현된 하드웨어 방어 메커니즘으로, 다음 두 가지 파라미터를 기반으로 동작한다:

MAC (Maximum Activate Count): 특정 시간 윈도우 내에서 허용되는 최대 행 활성화 횟수
tMAW (Maximum Activate Window): MAC 카운팅에 사용되는 시간 윈도우

TRR은 메모리 접근이 MAC 임계값을 초과하면 해당 행의 인접 행(victim row)을 자동으로 리프레시하여 비트 플립을 방지한다. 또한 양쪽 이웃 행의 활성화 횟수 합이 MAC 한도에 도달할 때도 victim row를 식별한다.

pTRR (Pseudo Target Row Refresh)

pTRR은 Intel Ivy Bridge 마이크로아키텍처부터 도입된 메모리 컨트롤러 기반 방어이다. pTRR 호환 DIMM과 함께 사용되면 성능이나 전력 영향 없이 Rowhammer를 방어할 수 있다. pTRR 비호환 DIMM에서는 리프레시 주기를 두 배로 줄여 방어하지만, 이는 메모리 대역폭을 2~4% 감소시킨다.

On-die ECC와 시스템 ECC의 한계

DDR5의 On-die ECC는 DRAM 칩 내부의 셀 오류를 완화해 수율과 신뢰성을 높이지만, 운영체제가 보는 메모리 데이터 경로 전체를 보호하는 end-to-end 보안 메커니즘은 아니다. 따라서 공격자가 긴 시간 동안 비트 플립을 누적시키거나, ECC 정정 한계를 넘는 다중 비트 오류를 만들면 시스템 수준 공격으로 이어질 수 있다.

서버용 ECC DIMM도 완전한 해결책은 아니다. 일반적인 SECDED는 단일 비트 오류 정정과 이중 비트 오류 검출에는 유효하지만, Rowhammer는 같은 워드 안에서 3비트 이상 동시 플립을 유도하거나 ECC가 감지하기 어려운 패턴을 만들 수 있어 공격 난도를 높일 뿐 근본 차단책은 아니다.

비교/분석

방어 기술 상세 비교

방어 기술	동작 위치	동작 원리	장점	단점	효과적인 공격
pTRR	메모리 컨트롤러	행 활성화 모니터링 + 자동 리프레시	성능 영향 없음 (호환 DIMM)	비호환 DIMM에서 대역폭 손실	단일/양면 해머링
TRR (하드웨어)	DRAM 칩 내장	MAC/tMAW 기반 victim 식별	최소 성능 영향, LPDDR4 표준화	Blacksmith 패턴으로 우회 가능	기본 공격 패턴
리프레시 주기 단축	메모리 컨트롤러	64ms보다 짧은 주기로 리프레시	구현 간단	전력 소비 증가, 대역폭 감소	대부분의 공격
카운터 기반 감시	메모리 컨트롤러	행 활성화 횟수 세기	성능 영향 미미	특정 패턴에서 우회 가능	단순 반복 공격
캐시 미스 모니터링	CPU/OS	하드웨어 성능 카운터 활용	소프트웨어 기반, 유연성	오탐 가능, 모든 exploit 탐지 불가	캐시 미스 기반 공격
ECC 메모리	메모리 컨트롤러	단일 비트 오류 정정	기존 인프라 활용	3비트 이상 동시 플립 시 우회	무작위 비트 플립
On-die ECC	DRAM 칩 내장	칩 내부 오류 정정	DRAM 자체 안정성 향상	시스템 수준 Rowhammer 방어에 한계	칩 내부 오류
Guard Rows	메모리 컨트롤러	DMA 버퍼 주변 유휴 행 배치	DMA 기반 공격 방어	메모리 오버헤드	DMA 공격

연도	공격/연구	방어 영향
2024	ZenHammer (AMD Zen)	AMD 프로세서에서 최초 Rowhammer, 기존 방어 재검토 필요
2024	DDR5 첫 exploit	On-die ECC만으로는 부족, 시스템 수준 방어 필요
2026	Phoenix (ETH Zurich)	모든 TRR 방어 우회 입증, refresh rate 3배 증가 임시 대응
2024	RISC-H (ETH Zurich)	RISC-V 최초 Rowhammer, 신규 아키텍처 방어 연구 필요

JEDEC 표준화 동향

JEDEC은 Rowhammer 방어를 위한 표준 문서를 발표하였다:
- JEP 300-1: DRAM Rowhammer 시스템 수준 완화 기법
- JEP 301-1: Rowhammer DRAM 수준 완화 기법
- JESD209-4/5A (LPDDR4/LPDDR5 계열): LPDDR 계열의 in-DRAM Rowhammer 완화 흐름 반영
- JESD79-5 (DDR5): On-die ECC 표준화, TRR 지원 권장

동작 원리

하드웨어 기반 방어 동작

1. TRR 칩 내장 동작 흐름

DRAM 칩 내부의 TRR 로직은 다음 순서로 동작한다:

행 활성화 모니터링: 모든 행 활성화 명령을 카운터로 추적
MAC/tMAW 비교: 각 행의 활성화 횟수를 MAC 임계값과 비교
Victim Row 식별: MAC 초과 시 해당 행의 인접 행을 victim으로 지정
자동 리프레시: Victim row에 대한 리프레시 명령 자동 생성
비트 플립 방지: 리프레시가 비트 플립보다 먼저 이루어져 전하 누설 차단

2. 메모리 컨트롤러 기반 방어

메모리 컨트롤러는 다음 메커니즘을 통해 Rowhammer를 방어한다:

리프레시 주기 조정: 기본 64ms 주기를 8ms 이하로 단축하여 비트 플립 가능성 최소화
행 활성화 카운터: 각 뱅크별로 행 활성화 횟수를 모니터링하고 임계값 초과 시 리프레시
주소 매핑 최적화: 인접 행이 물리적으로 가깝게 매핑되지 않도록 주소 인터리빙 적용

3. 소프트웨어 기반 탐지

운영체제 커널은 다음 방법으로 Rowhammer 공격을 탐지한다:

하드웨어 성능 카운터 (HPC): Intel PEBS, AMD IBS를 활용한 캐시 미스율 모니터링
비정상 접근 패턴 탐지: clflush 명령 사용 빈도, 메모리 접근 패턴 분석
시스템 콜 모니터링: mmap/mprotect 등 메모리 관련 시스템 콜 패턴 분석

소프트웨어 기반 방어 구현

Linux 커널 수준 방어

Linux 커널은 다음 메커니즘을 통해 Rowhammer를 방어한다:

페이지 테이블 보호: PTE 페이지를 일반 사용자 버퍼와 멀리 배치하거나, 공격 가치가 높은 페이지를 물리적으로 분리
DMA 버퍼 격리: ION, 네트워크 버퍼, GPU 공유 메모리 주변에 guard row 성격의 여유 공간을 두어 DMA 기반 공격을 완화
페이지 중복 제거 제한: KSM 같은 dedup 기능은 공격자가 물리 배치를 예측하는 데 도움을 줄 수 있어 보안 민감 환경에서는 비활성화가 권장됨
권한 인터페이스 축소: /proc/pagemap 접근 제한, 큰 페이지 관리 권한 분리, 비특권 프로세스의 저수준 타이밍 정보 축소

메모리 할당 전략

메모리 할당자는 다음 전략을 통해 Rowhammer 취약성을 줄인다:

Slab 할당자 보안: 메타데이터와 사용자 데이터를 물리적으로 분리
페이지 테이블 격리: PTE(Page Table Entry)를 Rowhammer로부터 보호
DMA 버퍼 격리: Guard rows를 DMA 버퍼 주변에 배치하여 공격 차단
고가치 페이지 분산 배치: 커널 객체, 자격 증명, 페이지 테이블처럼 공격 가치가 높은 구조를 서로 다른 물리 영역에 배치

장단점

방어 기술별 장단점 분석

하드웨어 기반 방어

장점:
- 소프트웨어 오버헤드 없음
- 레이턴시 영향 최소화
- 시스템 전체에 투명한 방어

단점:
- DRAM 칩 설계 복잡도 증가
- 비용 증가
- 기존 시스템 업그레이드 어려움
- TRR은 Blacksmith 등 정교한 공격으로 우회 가능

소프트웨어 기반 방어

장점:
- 기존 하드웨어에서 구현 가능
- 유연한 정책 조정
- 공격 패턴에 따른 적응적 방어

단점:
- CPU 오버헤드 발생
- 성능 저하 가능성
- 모든 공격 패턴 탐지 어려움
- 오탐으로 인한 불필요한 리프레시

메모리 컨트롤러 기반 방어

장점:
- 하드웨어와 소프트웨어의 중간 지점
- 비교적 구현 용이
- 메모리 대역폭 영향 제한적

단점:
- CPU 마이크로아키텍처 의존
- 제조사별 구현 차이
- 완전한 방어 보장 어려움

실무 적용 시 고려사항

고려사항	설명	대응 방안
비용	ECC 메모리, TRR 지원 DIMM 추가 비용	보안 수준과 비용 트레이드오프 결정
성능	리프레시 주기 단축과 추가 모니터링에 따른 대역폭·전력 손실	워크로드 특성에 따른 리프레시 주기 조정, Phoenix 계열 대응 시 3x refresh의 운영 비용 검토
호환성	기존 시스템과의 호환성	점진적 업그레이드 또는 소프트웨어 방어 우선 적용
가시성	방어 효과 측정 어려움	모니터링 도구 및 로깅 메커니즘 구축
운영 복잡도	BIOS, 메모리 컨트롤러, 커널 정책을 함께 관리해야 함	펌웨어 설정, 커널 하드닝, 모니터링 기준을 하나의 운영 절차로 묶어 관리

Rowhammer 방어 기술은 DRAM 칩 내장 TRR, 메모리 컨트롤러 기반 모니터링, 그리고 소프트웨어 기반 탐지의 다층 체계로 구현된다. pTRR은 메모리 컨트롤러 측 대응이고, TRR은 DRAM 칩 내부에서 MAC/tMAW를 기준으로 victim row를 식별해 추가 리프레시를 수행한다. Blacksmith, ZenHammer, Phoenix는 이런 방어가 정교한 패턴 앞에서 완전하지 않음을 보여주었고, 특히 Phoenix는 DDR5에서도 3x refresh 같은 강한 완화가 필요함을 드러냈다. On-die ECC와 서버 ECC는 공격 난도를 높이지만 end-to-end 차단책은 아니므로, 모니터링과 물리 배치 하드닝을 결합한 시스템 수준 방어가 필요하다. 실무 적용에서는 비용, 성능, 호환성, 운영 복잡도를 함께 고려한 다층 보안 전략이 요구된다.