Memory Centric LLM Serving Survey

메모리 시스템 관점의 LLM 서빙 최적화 — 논문 정리

Memory-Centric LLM Serving: KV 압축·캐싱·오프로딩·P/D 분리·PIM/PNM·신뢰성 (최근 연구 종합)

대규모 언어모델(LLM) 추론은 본질적으로 메모리 바운드이며, KV 캐시의 용량 폭증과 디코딩 단계의 메모리 대역폭이 핵심 병목입니다. 본 문서는 '메모리 시스템 관점'에서 LLM 서빙을 최적화하는 최근 연구들을 네 갈래 — (1) KV를 작게(압축·축출), (2) KV를 재사용(캐싱·페이징), (3) KV를 어디에 두나(오프로딩·티어링), (4) 어디서 계산하나(P/D 분리·PIM/PNM) — 로 분류하고, 이를 가로지르는 정밀도·신뢰성·스케줄링 축을 별도로 정리합니다. 각 카테고리는 대표 논문을 표로 모았으며, 이름·발표처·핵심 기여를 요약했습니다. 표의 수치·기여는 각 논문의 보고값을 요약한 것으로, 자세한 조건은 원문을 확인해야 합니다.

이 분류는 단순히 기법 목록을 나열하는 데서 끝나지 않습니다. 실제 서비스 설계에서는 같은 요청 경로 안에서 양자화, 페이징, 오프로딩, 분리형 배치가 동시에 적용되며, 각 기법은 HBM 용량, PCIe/CXL 대역폭, TTFT/TPOT 같은 지연 지표와 직접 연결됩니다. 따라서 메모리 중심 관점은 논문 분류이자 시스템 운영 관점의 체크리스트이기도 합니다.

1. 배경 — 왜 메모리가 병목인가

그림 1. LLM 서빙의 메모리 벽(용량·대역폭)과 이기종 메모리 계층, 그리고 네 가지 최적화 질문

LLM 추론의 디코딩은 매 토큰마다 전체 KV 캐시와 가중치를 읽어야 하는 memory-bound 연산입니다. 두 가지 압박이 동시에 작용합니다 — 용량(KV 캐시가 문맥·배치에 비례해 폭증, 70B·128K·배치32에서 KV만 150GB+로 HBM 초과)과 대역폭(HBM은 빠르나 작고, 용량을 늘리려면 느린 하위 티어가 필요). 이기종 메모리 계층(HBM > DRAM > CXL > NVMe)은 빠르고 작은 곳과 느리고 큰 곳의 트레이드오프를 이룹니다. 메모리 관점의 최적화는 결국 네 질문으로 정리됩니다: KV를 어떻게 작게 만들고, 어떻게 재사용하고, 어디에 두고, 어디서 계산하는가.

2. 분류 체계

그림 2. 메모리 관점 LLM 서빙 최적화의 네 카테고리와 가로지르는 축(신뢰성·정밀도·SLO)

KV 캐시 관리 서베이(Li et al., TMLR 2025, arXiv 2412.19442)는 최적화를 token-level·model-level·system-level로 분류하고, 또 다른 리뷰(arXiv 2603.20397)는 cache eviction·compression·hybrid memory·novel attention·combination의 다섯 방향으로 정리합니다. 본 문서는 이를 메모리 관점의 네 갈래로 재구성하고, 정밀도·신뢰성·스케줄링을 가로지르는 축으로 둡니다. 특히 신뢰성은 성능 중심 연구에 비해 비어 있는 영역이라 별도 절(7장)로 다룹니다.

3. KV를 작게 — 압축·축출·아키텍처

KV 캐시 크기를 줄이는 접근은 네 축으로 나뉩니다: 토큰 축출(중요하지 않은 토큰 버리기), 비트(양자화), 헤드/저차원(아키텍처), 그리고 어텐션 패턴(국소화).

실제로는 네 축이 서로 겹칩니다. 토큰 축출은 중요도가 낮은 토큰을 버려 길이를 줄이고, 양자화는 같은 정보를 더 적은 비트로 담으며, 아키텍처 기법은 애초에 KV가 덜 생기도록 바꿉니다. 국소 어텐션은 긴 문맥을 완전 재계산하지 않으면서도 캐시 크기를 제한하는 방향입니다.

3.1 토큰 축출·선택 (Token Eviction / Selection)

토큰 축출은 KV 전체를 유지하지 않고, 다음 토큰 예측에 덜 중요한 항목을 버리는 방식입니다. StreamingLLM은 attention sink와 최근 윈도우를 유지하고, H2O는 누적 어텐션이 높은 heavy hitter를 남깁니다. SnapKV는 prefill 끝에서 관측한 창을 기반으로 중요한 위치를 고르고, Scissorhands는 중요 토큰의 지속성을 가정합니다. Quest는 질의 인식형 페이지 로딩으로 재사용 가능 범위를 좁히고, Ada-KV와 NACL은 예산과 공정성을 함께 다룹니다.

3.2 양자화 (Quantization)

양자화는 KV를 더 낮은 비트수로 표현해 용량과 전송량을 동시에 줄입니다. KIVI는 Key와 Value에 서로 다른 축의 양자화를 적용하고, KVQuant는 비균일 양자화와 per-channel 설계를 결합해 긴 문맥에서도 정확도를 지킵니다. Oaken은 온라인·오프라인을 섞은 하이브리드 전략으로 서빙 성능과 효율을 함께 노립니다.

3.3 헤드·저차원·아키텍처 (Architectural)

아키텍처 기법은 KV 자체의 생성량을 줄이거나, 문맥 전체 대신 필요한 범위만 보도록 만듭니다. GQA/MQA는 KV head 수를 줄여 캐시를 압축하고, MLA는 저차원 latent로 KV를 흡수합니다. Sliding Window Attention은 최근 토큰만 보는 국소 어텐션으로 길이 의존성을 제한하고, Gemma 2의 interleave 방식은 국소/전역 레이어를 섞어 효율과 장거리 성능을 맞춥니다.

4. KV를 재사용 — 페이징·캐싱

이미 계산한 KV를 다시 만들지 않도록 메모리를 효율적으로 관리하고(페이징), 공통 부분을 재사용합니다(캐싱).

페이징 계열은 fragmentation을 줄이고, 캐싱 계열은 prefix나 의미가 같은 요청을 재사용합니다. 둘 다 목적은 같지만, 전자는 메모리 배치의 낭비를 줄이고 후자는 중복 계산 자체를 피한다는 점이 다릅니다.

MeanCache는 의미적으로 유사한 질의를 사용자 단위로 다루고, 컨텍스트 체인을 함께 저장해 contextual query의 오판을 줄이려는 접근입니다. 이런 계열은 검색형 서비스나 반복 질의가 많은 환경에서 특히 유효합니다.

5. KV를 어디 두나 — 오프로딩·티어링

그림 3. 오프로딩·티어링과 전송 병목(PCIe)을 줄이는 핵심 기법

GPU에 다 담지 못하는 KV(및 가중치)를 CPU·CXL·NVMe로 내리고, 필요한 것만 예측해 적재합니다. 공통 병목은 PCIe/CXL 링크 대역폭이며, 예측·프리페치·압축·스트리밍으로 전송량을 줄입니다. CXL은 단순한 느린 메모리가 아니라, 여러 서버가 나눠 쓰는 pooled capacity로도 쓰입니다.

FlexGen은 레이어별 placement를 LP로 최적화하고, DeepSpeed-Inference는 레이어 단위 오프로딩으로 GPU 메모리 예산을 줄입니다. InfiniGen은 다음 레이어에 필요한 KV만 rehearsal 기반으로 예측해 가져오고, CacheGen과 LMCache는 압축·다층 저장으로 전송과 재사용을 함께 다룹니다. Select-N과 Aqua는 SLO와 네트워크 상황을 함께 고려해 어떤 요청을 내릴지 정합니다.

6. 어디서 계산하나 — P/D 분리와 PIM/PNM

6.1 Prefill–Decode 분리 (Disaggregation)

계산집약 prefill과 메모리집약 decode를 다른 하드웨어로 분리해 간섭을 없애고 각자 최적화합니다.

DistServe는 prefill과 decode를 서로 다른 GPU에 배치해 TTFT와 TPOT를 분리해 최적화하고, Splitwise는 prompt와 token 단계를 다른 머신이나 이종 GPU로 나눕니다. Mooncake는 KVCache 자체를 분리형 풀로 다뤄 공유를 전제로 합니다. 핵심은 분리가 목적이 아니라, 단계별로 다른 병목에 맞는 자원을 주는 데 있습니다.

6.2 PIM / PNM — 메모리 곁 연산

그림 4. CXL·PIM/PNM(메모리 곁 연산)과 대표 연구 — Ryotta 연구와 직결

디코딩의 GEMV는 메모리 바운드라 뱅크 병렬 PIM에 적합하고, prefill의 GEMM은 NPU/GPU가 맡는 이종 가속이 핵심 패턴입니다. CXL은 용량·풀링 티어를, PNM은 메모리 곁 연산으로 전송 자체를 줄입니다.

AttAcc, NeuPIMs, IANUS, SpecPIM은 HBM-PIM과 NPU를 함께 써서 디코딩 대역폭 병목을 완화하고, LPDDR-CXL-PNM, CXL-NDP, Scalable CXL-PNM, Sangam은 CXL 계층이나 칩렛 DRAM 쪽에서 더 많은 일을 처리하게 만듭니다. 이 갈래는 모두 "데이터를 GPU로 가져오기 전에, 메모리 근처에서 끝낼 수 있나"를 묻습니다.

7. 장단점

메모리 중심 최적화의 가장 큰 장점은, LLM 서빙의 실제 병목인 KV 캐시 용량과 디코딩 대역폭을 직접 겨냥한다는 점입니다. 양자화·축출·아키텍처 변경은 같은 HBM 예산에서 더 긴 문맥과 더 큰 배치를 수용하게 만들고, 페이징·캐싱은 단편화와 중복 계산을 줄여 처리량을 높입니다. 오프로딩·티어링과 P/D 분리는 HBM 밖의 DRAM·CXL·SSD까지 자원 풀을 넓혀, 단일 GPU 메모리 한계를 시스템 차원 문제로 재정의합니다.

반면 기법 간 결합이 복잡해질수록 구현 난도와 운영 리스크도 커집니다. KV 축출과 양자화는 정확도 저하나 품질 편차를 유발할 수 있고, 오프로딩·티어링은 PCIe/CXL 병목과 예측 실패 비용을 동반합니다. 분리형 배치와 PIM/PNM은 성능 잠재력은 크지만, 런타임 스케줄러·메모리 관리자·커널 호환성까지 함께 맞춰야 하므로 소프트웨어 스택 의존성이 높습니다.

8. 가로지르는 축 — 신뢰성(비어 있는 영역)

그림 5. KV 캐시의 오류 내성, reliability-aware 설계 기회, 그리고 전체 정리

성능 연구에 비해 신뢰성은 상대적으로 비어 있는 영역입니다. 최근 연구들이 공통적으로 보고하는 핵심 발견은, KV 캐시가 비트 오류에 비교적 강하다는 것 — softmax 연산이 오류를 희석(masking)하기 때문입니다. 다만 토큰 중요도·비트 위치(MSB)·레이어에 따라 민감도가 다르므로 차등 보호의 여지가 있습니다.

연구 기회 — KV가 비트 오류에 비교적 강하다는 점과 중요도별 민감도 차이를 결합하면, '어느 KV를 · 어느 티어에 · 몇 비트로 · 어떤 ECC 강도로' 둘지를 동시에 정하는 reliability-aware 티어링/오프로딩이 자연스러운 빈칸이다. 성능 SLO와 정확도(오류) SLO를 함께 다루는 스케줄링은 아직 충분히 탐구되지 않았다. 이는 이기종 메모리(CXL·PIM/PNM)에서 특히 의미가 큰데, 티어마다 비트 오류 특성이 다르기 때문이다.

관련 서베이와 기준 문헌

9. 종합 정리

메모리 관점에서 LLM 서빙 최적화는 다음과 같이 수렴합니다.

• KV를 작게 — 토큰 축출(H2O·StreamingLLM·SnapKV·Quest·Scissorhands)·양자화(KIVI·KVQuant·Oaken)·저차원(MLA·GQA)·국소 어텐션(SWA·Gemma 인터리브).

• KV를 재사용 — 페이징(PagedAttention·vAttention)·프리픽스 캐싱(RadixAttention·APC·프로바이더 prompt caching)·시맨틱 캐싱(GPTCache)·이기종 페이징(Jenga).

• KV를 어디 두나 — 오프로딩(FlexGen·DeepSpeed·PowerInfer·LMCache·CacheGen·InfiniGen)과 SLO·네트워크 인식 배치(Select-N·Aqua), 예측·프리페치로 PCIe 병목 완화.

• 어디서 계산하나 — P/D 분리(DistServe·Splitwise·Mooncake·Sarathi-Serve·TetriInfer)와 PIM/PNM(AttAcc·NeuPIMs·IANUS·SpecPIM)·CXL 티어/곁연산(LPDDR-CXL-PNM·Pond·CXL-NDP·Scalable CXL-PNM·Sangam).

• 가로지르는 축 — 정밀도(양자화)·신뢰성(Kelle·SHIELD·KVNAND·soft-error 연구)·스케줄링/SLO. 신뢰성은 상대적으로 비어 있어 연구 기회가 크다.

핵심 메시지 — LLM 서빙의 메모리 벽은 HBM(대역폭)+CXL(용량·풀링)+곁연산(PIM/PNM)의 이기종 계층으로 구조적으로 해소되는 방향으로 수렴하고 있다. KV 캐시 관리(작게·재사용·어디두나)와 연산 배치(P/D 분리·메모리 곁 연산)는 서로 직교적이어서 함께 적용된다. 그리고 이 모든 갈래를 가로지르는 정밀도·신뢰성·SLO 축에서, 특히 'reliability-aware 한 KV 티어링/오프로딩'(어느 KV를 어느 티어에 몇 비트·어떤 ECC로 둘지를 정확도 SLO와 함께 정식화)이 성능 중심 연구가 채우지 못한 가장 자연스러운 빈칸이다.

주의 — 본 정리는 각 논문·서베이(KV 캐시 관리 서베이 arXiv 2412.19442, 효율적 추론 서베이 arXiv 2404.14294, 하드웨어 관점 서베이 arXiv 2410.04466, PagedAttention arXiv 2309.06180, DistServe arXiv 2401.09670, vAttention arXiv 2405.04437, InfiniGen arXiv 2406.19707, MeanCache arXiv 2403.02694, 그리고 본문에 인용한 개별 논문들)에 기반한다. 표의 '발표처·연도·수치'는 보고값을 요약한 것으로 버전·조건에 따라 다를 수 있으며, 일부 arXiv 전용/프리프린트가 포함된다. 빠르게 발전하는 분야라 본 목록은 대표 사례의 일부이며 완전하지 않다. 정확한 수치·방법은 원문 확인이 필요하다.