KV Cache 압축

KV Cache Compression · Quantization · Token Eviction · Rank Compression · Mixed Precision · Adaptive Strategies

개요

KV Cache는 LLM 추론에서 과거 토큰의 Key/Value를 저장해 어텐션 재계산을 방지하지만, 시퀀스·배치·레이어 수에 비례해 급격히 커져 GPU 메모리의 핵심 병목이 됩니다. 긴 문맥(long context)과 높은 처리량(high throughput)이 요구되는 서비스 환경에서 KV Cache는 모델 가중치를 넘어서는 메모리를 차지하기도 합니다. KV Cache 압축은 이 메모리 부담을 줄이기 위해 키와 값의 정밀도를 낮추거나(양자화), 중요하지 않은 토큰을 제거하거나(eviction), 저차원 표현으로 축소하는(rank compression) 기법들의 총칭입니다.

양자화만으로는 한계가 있어, 토큰 제거·랭크 압축·혼합 정밀도·레이어별 차등 할당 등 여러 전략을 조합하는 것이 실전에서 중요합니다. 본 문서는 KV Cache 압축의 전체 스펙트럼을 분류하고, 각 기법의 동작 원리·트레이드오프·시스템 통합 방안을 정리합니다.

1. KV Cache 메모리 문제

KV Cache의 크기는 다음 공식으로 추정할 수 있습니다.

KV_bytes ≈ 2 × L × n_kv_heads × head_dim × seq_len × batch × bytes_per_element

• 2: Key + Value 2개
• L: 레이어 수
• n_kv_heads: KV 헤드 수 (GQA/MQA에서는 쿼리 헤드보다 적음)
• head_dim: 헤드당 차원 (보통 128)
• seq_len: 시퀀스 길이
• batch: 배치 크기
• bytes_per_element: FP16=2, FP8=1, INT4=0.5, INT2=0.25

예를 들어 LLaMA-2-70B (80레이어, 8 KV 헤드, head_dim=128)에서 seq_len=4096, batch=1, FP16 기준:

2 × 80 × 8 × 128 × 4096 × 1 × 2 = 1.34 GB

seq_len이 128K로 늘어나면 약 42.9 GB로, 80GB GPU의 절반 이상을 차지합니다. 배치를 키우면 곧바로 GPU 메모리가 부족해집니다.

왜 압축이 필요한가

2. 압축 기법 분류

KV Cache 압축 기법은 크게 네 가지 범주로 분류할 수 있습니다.

그림 1. KV Cache 압축 기법 분류 체계

2.1 양자화 (Quantization)

Key/Value의 정밀도를 낮춰 각 요소가 차지하는 비트 수를 줄이는 방법입니다. 가장 직접적이며, 기존 추론 파이프라인에 자연스럽게 통합됩니다.

주요 특징:
- FP16(16비트)을 FP8(8비트), INT8, INT4, INT2 등으로 축소
- 메모리 용량과 대역폭을 동시에 절감
- Key와 Value의 분포 차이에 따른 비대칭 처리가 핵심
- 역양자화(dequantization) 오버헤드와 커널 융합이 실전 성능을 좌우

비대칭 문제: Key는 소수의 채널 이상치(outlier)가 존재하고, Value는 토큰별 분포가 다릅니다. 따라서 Key는 per-channel, Value는 per-token 양자화가 효과적입니다(KIVI 발견).

RoPE 문제: 회전 위치 인코딩(RoPE)이 Key의 채널 쌍을 섞어 이상치 구조를 흐트러뜨립니다. KVQuant는 RoPE 적용 전에 Key를 양자화해 이 문제를 해결합니다.

2.2 토큰 제거 (Token Eviction)

어텐션 점수를 기반으로 중요하지 않은 과거 토큰의 KV를 제거하는 방법입니다. 모든 토큰을 유지하지 않고, 실질적으로 사용되는 토큰만 남깁니다.

주요 특징:
- 어텐션 히스토리 분석으로 중요 토큰 선별
- 추가 학습 없이(profiling 기반) 적용 가능
- 최근 토큰·special token·Heavy Hitter 등 보존 전략이 다양
- 토큰 수 자체를 줄여 메모리와 대역폭 동시 절감

보존 전략 유형:
- 최신 토큰 보존 (Sliding Window)
- Attention Sink 보존 (StreamingLLM)
- 어텐션 점수 기반 선별 (H2O)
- 패턴 기반 적응형 제거 (FastGen, Scissorhands)

2.3 랭크 압축 (Rank Compression)

Key/Value 행렬을 저차원으로 투영해 정보를 압축하는 방법입니다. 선형대수학적 성질을 활용해 행렬의 본질적인 차원을 축소합니다.

주요 특징:
- SVD, Random Projection 등의 선형 변환 사용
- 어텐션 연산 자체를 저차원에서 수행 가능
- 정보 손실이 있지만, 구조적으로 보존 가능한 저차원 특성 활용
- 양자화와 결합하면 시너지 효과

2.4 혼합 전략 (Hybrid/Adaptive)

여러 압축 기법을 결합하거나, 레이어·토큰·시퀀스별로 차등 적용하는 방법입니다. 최신 연구에서 가장 활발한 영역입니다.

전략 유형:
- 레이어별 비트폭 할당 (KVmix)
- 중요/비 중요 토큰 간 정밀도 차등 (MiKV)
- 토큰 제거 + 저비트 양자화 결합
- 동적 문맥 길이 적응

3. 주요 기법 상세

3.1 양자화 기법

FP8 / INT8 — 8비트 (기본 지원)

FP16 대비 2배 메모리 절감으로, 거의 무손실 수준의 정확도를 유지합니다.

• FP8 E4M3: 4지수 3가수, ±240 범위. vLLM에서 kv_cache_dtype="fp8"로 지원. 정확도 저하가 대체로 미미
• FP8 E5M2: 5지수 2가수, 동적 범위가 넓지만 정밀도 낮음
• INT8: TensorRT-LLM에서 지원. scale 저장이 추가로 필요해 FP8보다 메모리 이득이 약간 작음
• 하드웨어 가속: NVIDIA Hopper/Ada, AMD MI300에서 하드웨어 FP8 변환 지원

KIVI — 비대칭 2비트 (ICML 2024)

Key는 per-channel, Value는 per-token으로 양자화하는 비대칭 2비트 기법입니다.

• 동작 원리: Key의 채널 이상치를 채널 단위로, Value의 토큰별 분포를 토큰 단위로 처리
• 최근 토큰 보존: 가장 최근 토큰 일부를 full precision 잔차(sliding window)로 유지
• 튜닝 불필요: plug-and-play로 즉시 적용 가능
• 성과: LLaMA-2·Falcon·Mistral에서 메모리 2.6배 절감, 배치 4배 확대, 처리량 2.35~3.47배 향상

KVQuant — 3비트 (NeurIPS 2024)

네 가지 기법을 결합해 sub-4-bit 정밀도를 달성합니다.

1. Per-Channel Key 양자화: Key를 채널 단위로 양자화
2. Pre-RoPE Key 양자화: RoPE 적용 전에 Key를 양자화해 이상치 구조 보존
3. 비균등 양자화 (NUQ): 레이어별 민감도 가중치를 적용한 비균등 데이터 타입
4. Per-Vector Dense-and-Sparse: 각 벡터에서 이상치를 따로 분리해 처리

성과: LLaMA/Llama-2/3·Mistral에서 3비트 perplexity 저하 0.1 미만. LLaMA-7B 기준 A100-80GB에서 100만 토큰, 8-GPU에서 1000만 토큰 문맥 서빙 가능.

QuaRot — 4비트 로테이션 양자화

회전 변환(Rotation)을 통해 LLM의 은닉 상태에서 이상치를 제거하는 기법입니다.

• 동작 원리: 특수 직교 행렬(orthogonal matrix)로 은닉 상태를 회전해 이상치 분포를 평탄화
• 적용 범위: 가중치·활성값·KV Cache를 모두 4비트로 양자화
• 성과: LLaMA2-70B 4비트에서 perplexity 저하 0.47 이하, zero-shot 성능 99% 유지

3.2 토큰 제거 기법

FastGen — 적응형 KV Cache 압축 (ICLR 2024)

어텐션 모듈의 내재적 구조를 프로파일링해 헤드별로 다른 압축 전략을 적용합니다.

• 헤드 유형별 전략:
• 로컬 컨텍스트 헤드 → 장거리 컨텍스트 제거
• special token 중심 헤드 → non-special 토큰 제거
• 광범위 어텐션 헤드 → 표준 KV Cache 유지
• 장점: fine-tuning 없이(profiling 기반) 적용, GPU 메모리 소비 대폭 절감

H2O — Heavy-Hitter Oracle

어텐션 점수가 높은 "Heavy Hitter" 토큰을 보존하고 나머지를 제거하는 기법입니다.

• 동작 원리: 과거 어텐션 히스토리에서 누적 어텐션 점수가 높은 토큰 선별
• 보존 대상: 최근 토큰 + Heavy Hitter 토큰
• 효과: 적은 메모리로도 핵심 정보를 보존

Scissorhands

Attention Sink 패턴을 활용해 중요 토큰을 식별하는 기법입니다.

• 핵심 관찰: 특정 토큰(첫 번째 토큰, 특수 토큰 등)이 지속적으로 높은 어텐션을 받음
• 전략: 이런 패턴을 미리 학습해 중요 토큰을 자동 보존

3.3 랭크 압축 기법

CaM — Cache Merge

Key/Value 행렬을 저차원으로 투영해 압축하는 기법입니다.

• 동작 원리: SVD 등을 활용해 KV 행렬의 본질적 차원을 추출
• 장점: 어텐션 연산 자체를 저차원에서 수행 가능
• 한계: 추가 연산 오버헤드, 비선형 변환이 어려움

3.4 혼합 정밀도 기법

MiKV — Importance-Aware Mixed Precision (2024)

중요도에 따라 토큰별로 다른 정밀도를 적용하는 기법입니다.

• 동작 원리:
• 중요 토큰 → 고정밀(FP16) 유지
• 덜 중요한 토큰 → 저비트 양자화
• 제거된 토큰도 저비트로 보존 (info loss 최소화)
• 핵심 발견: 토큰을 완전히 제거하면 안전 문제·할루시네이션·컨텍스트 유실이 발생하지만, 저비트로라도 보존하면 상당 부분 회복됨

KVmix — Gradient-Based Layer Importance (AAAI 2026)

레이어 중요도를 그래디언트 기반으로 분석해 레이어별 비트폭을 차등 할당하는 기법입니다.

• 동작 원리:
• 그래디언트 기반 중요도 분석으로 각 레이어의 손실 영향도 평가
• 중요한 레이어 → 높은 정밀도, 덜 중요한 레이어 → 공격적 양자화
• 동적 긴 문맥 최적화: 최근 중요 토큰은 full precision, 오래된 토큰은 압축
• 성과: Key 2.19비트, Value 2.38비트에서 거의 무손실 추론, 4.9배 메모리 압축, 5.3배 처리량 향상

4. 비교 분석

기법별 비교표

비트폭별 정확도-압축 트레이드오프

5. 동작 원리

5.1 양자화 파이프라인

그림 2. KV Cache 양자화 파이프라인: 인코딩 → 양자화 → 저장 → 역양자화 → 어텐션

처리 흐름:
1. 새 토큰의 Key/Value 계산 (FP16/BF16)
2. 양자화: per-channel/per-token/per-tensor 스케일링으로 저비트로 변환
3. 압축된 KV를 GPU 메모리에 저장
4. 어텐션 계산 직전 역양자화 (fused dequant kernel 권장)
5. 저비트 또는 고정밀 어텐션 연산 수행

커널 융합의 중요성: 역양자화를 별도 커널로 수행하면 대역폭 절감으로 얻은 이득이 상쇄됩니다. fused kernel(양자화된 KV를 직접 읽어 어텐션 계산)이 필수적입니다.

5.2 토큰 제거 전략

그림 3. 토큰 제거 전략 비교: Sliding Window, Attention Sink, Heavy Hitter, 적응형

보존 우선순위:
1. 최근 토큰: 디코딩에 직접 활용되므로 가장 높은 우선순위
2. Attention Sink: 첫 번째 토큰, special token 등 지속적으로 높은 어텐션을 받는 토큰
3. Heavy Hitter: 누적 어텐션 점수가 높은 핵심 컨텍스트 토큰
4. 패턴 기반: 헤드별 어텐션 패턴 분석으로 적응형 제거

완전 제거 vs 저비트 보존: MiKV 연구에 따르면 토큰을 완전히 제거하면 안전 문제·할루시네이션이 발생하지만, 저비트로라도 보존하면 상당 부분 회복됩니다. 이는 "제거하지 말고 압축하라"는 설계 원칙을 시사합니다.

5.3 레이어별 차등 할당

그림 4. 레이어 중요도에 따른 비트폭 차등 할당 (KVmix 접근)

레이어 중요도 분석:
- 그래디언트 기반: 각 레이어의 KV가 손실 함수에 미치는 영향도 계산
- 어텐션 기반: 레이어별 어텐션 엔트로피 분석 (높은 엔트로피 = 더 많은 정보 저장)
- 프로파일링 기반: 대표 입력으로 중요도 측정

할당 전략:
- 중요 레이어 (하위 레이어, 어텐션 집중 레이어): FP16/FP8 유지
- 중간 레이어: INT4/INT8
- 덜 중요한 레이어 (상위 레이어): INT2/INT4 공격적 양자화

6. 시스템 통합

6.1 프레임워크 지원 현황

6.2 다른 기법과의 결합

PagedAttention과 결합: 블록 안의 K,V를 저비트로 담으면 블록당 더 많은 토큰이 들어갑니다. 두 기법은 직교적이며 함께 쓰면 효과가 배가됩니다.

KV Offloading과 결합: 양자화로 KV를 줄이면 CXL/PCIe로 옮길 데이터와 대역폭 부담이 함께 감소합니다.

메모리 티어링과 결합: hot KV는 GPU에서 고정밀, warm KV는 CPU DRAM에서 저비트, cold KV는 CXL/NVMe에서 더 공격적 양자화로 precision tiering 가능.

6.3 구현 시 고려사항

• 양자화 위치: 새 토큰의 K,V 계산 직후 양자화해 저장
• 역양자화 비용: fused kernel 없으면 대역폭 절감 효과 상쇄
• 보정 데이터: KVQuant 등은 보정 데이터가 품질에 영향
• GQA/MQA 호환: KV 헤드 수가 적으면 per-channel 양자화의 이득이 작아질 수 있음
• FlashAttention 호환: 저비트 어텐션 커널의 구현 수준에 따라 성능 영향

7. 장단점

장점

• 메모리 절감 효과가 직접적: 8비트로 약 2배, 3~4비트로 4~5배, 2비트로 그 이상의 절감이 가능해 긴 문맥·큰 배치를 같은 GPU에 담을 수 있습니다.
• 대역폭 병목 완화: 매 디코딩 스텝마다 KV를 읽는 양이 줄어들어 HBM 읽기량과 offloading 전송량이 함께 감소합니다.
• 기존 기법과 직교적: PagedAttention, KV offloading, 메모리 티어링과 자연스럽게 결합 가능해 효과를 누적할 수 있습니다.
• 처리량 향상: 메모리 절감은 곧 배치 확대로 이어지며, 처리량(throughput)이 비례적으로 향상됩니다.
• 긴 문맥 지원: 100만 토큰 이상의 문맥을 단일 GPU에서 서빙할 수 있게 됩니다(KVQuant).

단점

• 정확도 저하 위험: 특히 2비트 이하에서는 Key/Value 비대칭, RoPE, 최근 토큰 보존을 무시하면 품질이 급격히 무너질 수 있습니다.
• 구현 복잡도: per-channel/per-token scale 관리, 이상치 분리, fused dequant kernel, backend별 dtype 제약을 함께 고려해야 합니다.
• 프레임워크 의존: 용량 절감은 비교적 안정적이지만, 지연 시간·처리량 개선은 kernel fusion, attention backend, batch 크기에 크게 좌우됩니다.
• 보정 비용: KVQuant 등 고급 기법은 보정(calibration) 데이터와 프로파일링에 추가 비용이 발생합니다.
• 안전성 문제: 토큰 제거 시 완전 제거는 안전 문제·할루시네이션을 유발할 수 있어 저비트 보존이 필수적입니다.

8. 핵심 정리

KV Cache 압축은 양자화, 토큰 제거, 랭크 압축, 혼합 전략의 네 범주로 나뉘며, 실전에서는 이들을 조합해 사용합니다. 양자화는 가장 직접적인 방법으로, FP8/INT8은 거의 무손실이며 3~4비트는 KVQuant·QuaRot로 실용화 가능합니다. 2비트 이하는 KIVI의 비대칭+잔차 보존이 핵심입니다. 토큰 제거는 FastGen·H2O 등으로 헤드별·패턴별 적응형 전략이 발전하고 있으며, 완전 제거보다 저비트 보존이 안전성 측면에서 우수합니다. 레이어별 차등 할당(KVmix)은 극저비트에서도 거의 무손실을 달성하는 최신 경향입니다. 양자화는 PagedAttention·KV Offloading·메모리 티어링과 직교적이라 결합 시 효과가 배가되며, precision tiering으로 hot/warm/cold KV에 정밀도를 차등하는 것이 실전 최적 해법입니다.

9. 관련 기술