KV Cache Offloading Analysis

KV 캐시 오프로딩 시스템 심층 분석

Memory Hierarchy · Prefix Reuse · PD Disaggregation · LMCache · Mooncake · CacheGen · CXL-PNM

KV 캐시 오프로딩은 GPU 메모리에 다 담기지 않는 KV 캐시를 CPU DRAM·CXL·NVMe 같은 하위 메모리 티어로 내려 보관·재사용하는 기법입니다. 긴 문맥·큰 배치·멀티턴 워크로드에서 KV 캐시가 모델 가중치를 넘어설 만큼 커지면서, '연산을 저장으로 바꾸는(trade computation for storage)' 이 접근이 LLM 서빙의 핵심 인프라가 되었습니다. 본 문서는 왜 오프로딩하나(메모리 계층) → 두 가지 쓰임(프리픽스 재사용·PD 분리) → 주요 시스템(LMCache·Mooncake·CacheGen) → 핵심 트레이드오프(재계산 vs 전송) → 하드웨어 프론티어(CXL·PNM)와 신뢰성 관점의 순서로 분석합니다.

이 문서는 KV 오프로딩을 단순한 저장 공간 확장이 아니라, 엔진 간 캐시 공유·분리형 서빙·전송 압축·메모리 계층 설계가 만나는 지점으로 봅니다. 따라서 개별 시스템의 구현 차이보다 어떤 워크로드에서 어떤 티어가 병목이 되는지에 초점을 둡니다.

1. 왜 KV 캐시를 오프로딩하나 — 메모리 계층

KV 캐시는 과거 토큰의 Key/Value를 저장해 재계산을 피함으로써 디코딩을 빠르게 합니다. 그러나 그 크기가 시퀀스 길이·배치·레이어에 비례해 커지면서, 긴 문맥이나 큰 배치에서는 모델 가중치를 넘어 GPU HBM 용량을 초과합니다.

그림 1. KV 캐시가 GPU를 초과하는 문제와 메모리 계층(HBM→DRAM→CXL→NVMe)

연산을 저장으로 바꾼다

• 문제 규모 — 예를 들어 70B 모델·128K 문맥·배치 32에서는 KV 캐시만 150GB를 넘겨 H100 VRAM을 초과합니다. KV 캐시는 종종 모델 가중치보다 커집니다.

• 메모리 계층 — GPU HBM(빠르지만 작음)에서 CPU DRAM, CXL 메모리, NVMe SSD(느리지만 큼)로 내려갈수록 용량은 커지고 대역폭은 작아집니다.

• 두 가지 쓰임 — (1) 용량 확장: 더 긴 문맥·큰 배치를 수용. (2) 재사용: 같은 프리픽스의 KV를 캐싱해 재계산을 피함.

• 핵심 트레이드오프 — KV를 다시 '계산'할지, 저장해둔 걸 '전송'할지의 선택입니다. 전송이 재계산보다 싸면 오프로딩이 이득이지만, 느린 티어일수록 전송 대역폭이 병목이 됩니다. 멀티턴 QA·RAG·문서 분석처럼 긴 공통 문맥을 반복 사용하는 워크로드에서 특히 효과적입니다.

2. 오프로딩의 두 가지 쓰임

KV 오프로딩은 크게 두 맥락에서 쓰입니다. 하나는 여러 질의가 공유하는 문맥의 KV를 재사용하는 것이고, 다른 하나는 prefill과 decode를 다른 하드웨어로 분리하면서 KV를 전송하는 것입니다.

그림 2. 프리픽스 재사용(cross-query)과 Prefill-Decode 분리

(1) 프리픽스 재사용 (cache offloading)

• 여러 질의가 공유하는 문맥(시스템 프롬프트, RAG 문서, 멀티턴 대화 이력)의 KV를 저장해 두고 재사용합니다. 반복되는 긴 문맥에 특히 강력합니다.

• GPU의 프리픽스 캐시는 용량이 작아 금방 밀려나므로, CPU·CXL·NVMe로 내려야 더 많이 재사용할 수 있습니다.

• 효과 — 공통 문맥의 프리필을 건너뛰어 TTFT(첫 토큰 지연)를 줄이고 GPU 연산을 절약합니다. 실제로 LMCache 사례에서 디스크 오프로딩 시 cold TTFT 6.3초가 warm 0.15초로 떨어진 보고가 있습니다.

(2) Prefill-Decode 분리 (PD Disaggregation)

• 계산집약적 prefill과 메모리집약적 decode를 다른 노드/하드웨어로 분리하고, prefill이 생성한 KV를 decode 노드로 전송합니다.

• prefill은 연산이, decode는 메모리 대역폭이 병목이므로, 분리하면 각 단계가 간섭 없이 독립적으로 스케일·최적화되어 자원 활용이 높아집니다.

두 쓰임 모두 'KV를 GPU 밖에 두고 노드 간 빠르게 옮긴다'는 점은 동일하며, 따라서 고속 전송 엔진과 분리형 KV 캐시 풀이 핵심 구성 요소가 됩니다.

3. 주요 KV 오프로딩 시스템

그림 3. LMCache, Mooncake, CacheGen의 특징과 상호 결합

LMCache — KV 캐싱 레이어 (arXiv 2510.09665)

vLLM·SGLang 같은 엔진에서 KV 캐시를 추출해 GPU 밖(CPU·디스크·원격)에 저장하고 엔진/질의 간에 공유하는, 가장 널리 쓰이는 오픈소스 KV 캐싱 솔루션입니다. 캐시 오프로딩(프리픽스 재사용)과 PD 분리(엔진/GPU 간 KV 전송)를 모두 지원합니다. 배치 전송·계산/IO 파이프라이닝으로 데이터 이동을 최적화하고, 모듈식 커넥터로 엔진의 빠른 진화와 분리되며, pinning·lookup·cleanup·이동·압축 같은 제어 API를 제공합니다. vLLM과 결합 시 멀티라운드 QA·문서 분석 등에서 최대 15배 처리량 향상이 보고됩니다.

Mooncake — KVCache 중심 분리 아키텍처 (arXiv 2407.00079, FAST 2025 Best Paper)

Moonshot AI의 Kimi 서비스를 떠받치는 서빙 플랫폼으로, prefill과 decode 클러스터를 분리하고 GPU 클러스터의 유휴 CPU·DRAM·SSD·RDMA 자원을 묶어 분리형 KVCache 풀(Mooncake Store)을 구성합니다. 핵심은 처리량을 최대화하면서 지연 SLO를 지키는 KVCache 중심 스케줄러이며, 과부하 상황에서는 예측 기반 조기 거절(early rejection) 정책으로 낭비를 줄입니다. KVCache를 레이어 단위로 스트리밍 전송해 전송과 계산을 중첩하고, CPU 메모리에서는 KV를 페이지 블록으로 저장하되 프리픽스 해시로 중복을 제거합니다. 긴 문맥에서 최대 525% 처리량 향상, 실제 워크로드에서 75% 더 많은 요청 처리를 보고합니다. '연산을 저장으로 바꾼다'는 원리를 분산 시스템으로 구현한 사례입니다.

CacheGen — KV 캐시 압축·스트리밍 (SIGCOMM 2024)

저장·전송할 KV 캐시 자체를 작게 만드는 데 집중합니다. KV 캐시의 분포 특성을 활용한 커스텀 텐서 인코더로 KV를 더 작은 비트스트림으로 인코딩하며(10개 토큰 그룹의 앵커 토큰을 기준으로 델타를 기록하는 change-based 인코딩), 가용 대역폭에 따라 부분별 압축 수준을 조절하거나 대역폭이 부족하면 즉석에서 재계산으로 전환합니다. KV 캐시 크기를 3.5~4.3배 줄이고 문맥 fetch·처리 지연을 3.2~3.7배 줄이면서 품질 저하는 미미하다고 보고합니다.

생태계 통합 — 이 시스템들은 서로 결합된다. LMCache는 CacheGen 압축을 내장하고 Mooncake Store를 원격 백엔드로 연동하며, NVIDIA Dynamo의 NIXL 전송 계층과도 KV 블록 이동 기본기를 공유한다. 공통 분모는 KV를 '어디에 둘지·어떻게 압축·전송할지·언제 재사용/재계산할지' 관리하는 것이다.

시스템 비교

4. 핵심 트레이드오프 — 재계산 vs 전송

오프로딩의 성패는 하나의 질문으로 압축됩니다. KV를 다시 계산하는 비용과, 저장된 KV를 불러오는 전송 비용 중 무엇이 더 싼가?

그림 4. 재계산 vs 전송의 트레이드오프와 전송 병목을 줄이는 기법들

전송 병목을 줄이는 기법

트레이드오프의 핵심

• 오프로딩이 항상 이득은 아닙니다 — 저장된 KV를 불러오는 전송 시간이 재계산 시간보다 길면 오히려 손해입니다. 결정 변수는 티어 대역폭·KV 크기·프리필 연산량·재사용 가능성(hit ratio)입니다.

• CacheGen의 영리한 점은 대역폭이 부족하면 압축률을 높이거나 아예 재계산으로 전환하는 적응성입니다. Mooncake의 레이어별 스트리밍은 전송과 계산을 겹쳐 지연을 숨깁니다.

• 프리픽스 캐시 hit ratio가 관건입니다 — 산업에서 흔한 문맥 truncation이 hit ratio를 절반으로 떨어뜨리기도 합니다. 결국 계산·대역폭·용량의 3자 균형을 워크로드에 맞춰 잡는 것이 시스템의 목표입니다.

장단점

• 장점 — 같은 프리픽스를 반복 쓰는 워크로드에서는 TTFT와 GPU 연산을 크게 줄일 수 있고, CPU·CXL·SSD까지 계층화하면 용량 확장이 쉽습니다.
• 한계 — 하위 티어로 갈수록 전송 대역폭과 지연이 병목이 되며, hit ratio가 낮거나 문맥이 자주 바뀌면 이득이 급격히 줄어듭니다.
• 운영 복잡성 — 캐시 일관성, 백엔드 선택, 압축·프리페치 정책을 함께 튜닝해야 하므로 단순 캐시보다 시스템 통합 비용이 큽니다.

5. 하드웨어 프론티어 — CXL과 Processing-Near-Memory

오프로딩의 근본 제약은 하위 티어로 가는 전송 대역폭입니다. 여기서 CXL이 PCIe의 한계를 넘는 새로운 티어로 주목받고, 더 나아가 메모리 곁에서 연산하는 PNM이 전송 자체를 없애는 방향으로 연구가 이어집니다.

그림 5. 대역폭 비교, CXL-PNM, 오프로딩 계보, 그리고 신뢰성 관점

왜 CXL인가

• 대역폭 — HBM(2TB/s 이상)이 가장 빠르지만 작고, 기존 PCIe 오프로딩은 8~16GB/s로 병목입니다. CXL은 64GB/s급의 더 넓은 대역폭에 캐시 일관성과 byte 단위 접근, 메모리 풀링을 제공합니다.

• CXL 메모리가 PCIe보다 빠르면 CPU-GPU 전송 대역폭을 DDR 수준으로 유지할 수 있다는 보고가 있으며, CXL 4.0은 128 GT/s와 랙 단위 100TB+ 풀링으로 오프로딩 용량 한계를 크게 넓힙니다.

CXL-PNM (Processing-Near-Memory)

한 걸음 더 나아간 방향입니다. 전체 KV 캐시를 CXL 메모리에 상주시키고(non-eviction, 1M 토큰급 문맥), CXL 메모리 내부의 가속기가 토큰 페이지 선택 같은 연산을 직접 수행합니다. 이렇게 하면 KV를 GPU로 도로 불러오는 비싼 recall을 없애고 더 큰 배치가 가능해집니다 — 데이터 곁에서 연산함으로써 전송 자체를 연산으로 대체하는 셈입니다. 이는 오프로딩 계보의 현재 종착점입니다: vLLM(PagedAttention) → LMCache → Mooncake → CXL-KV → CXL-PNM.

관련 기술

• vLLM PagedAttention — KV 블록을 페이지처럼 관리해 장문맥 서빙의 기반을 제공합니다.
• SGLang — 엔진 수준에서 KV 공유·전송 경로를 붙이기 쉬운 대표 서빙 런타임입니다.
• FlexGen / InfiniGen — KV를 디스크나 예측 기반 prefetch로 다루는 초기 오프로딩 계열로, 후속 시스템의 비교 기준이 됩니다.
• CXL 4.0 — 더 큰 메모리 풀과 높은 링크 대역폭을 제공하는 하드웨어 기반입니다.

신뢰성 관점(연구 확장) — 메모리 티어마다 비트 오류 특성이 다르므로(DRAM·CXL·NVMe), KV 블록을 '어느 티어에·몇 비트로(양자화)·어떤 ECC 강도로' 둘지를 함께 정하는 reliability-aware 오프로딩이 자연스러운 확장이다. 또한 이는 MoE의 전문가 오프로딩과 동형 구조('어느 KV를/전문가를 어느 티어에 둘지')라, 프리페치·캐싱 정책을 공유할 수 있다.

주의 — 본문 수치는 각 논문·문서(LMCache arXiv 2510.09665, Mooncake arXiv 2407.00079·FAST 2025, CacheGen arXiv 2310.07240·SIGCOMM 2024, CXL-PNM/CXL-NDP 등 후속 연구)의 보고값으로, 모델·하드웨어·워크로드에 따라 달라진다. '최대 15배/525% 처리량', 'TTFT 6.3초→0.15초', '압축 3.5~4.3배'는 특정 조건의 상한·사례값이며, 대역폭 수치(HBM 2TB/s·CXL 64GB/s급·PCIe 8~16GB/s)도 세대·구성에 따라 다르다. CXL/PNM 기반 KV 오프로딩은 활발히 연구되는 영역으로 상용화 성숙도는 시스템마다 차이가 있다.

6. 핵심 정리

KV 캐시 오프로딩은 GPU에 다 담기지 않는 KV를 CPU DRAM·CXL·NVMe로 내려 보관·재사용하는 기법으로, '연산을 저장으로 바꾸는' 발상이다. 두 가지 쓰임(프리픽스 재사용·PD 분리) 모두 KV를 GPU 밖에 두고 옮긴다. LMCache(KV 캐싱 레이어, 최대 15배 처리량), Mooncake(KVCache 중심 분리 아키텍처, 최대 525% 처리량), CacheGen(KV 압축·스트리밍, 크기 3.5~4.3배↓)이 대표 시스템이며 서로 결합된다. 성패는 재계산 vs 전송의 트레이드오프로 귀결되어, 압축·레이어별 스트리밍·프리페치·중복제거·cache-aware 라우팅으로 전송 병목을 줄인다. 하드웨어로는 CXL(PCIe보다 넓은 대역폭·풀링)이 새 티어로, CXL-PNM(메모리 곁 연산으로 recall 제거)이 프론티어로 부상하고 있다.