LLM 양자화

LLM 양자화 심층 분석

가중치 양자화 · GPTQ · AWQ · GGUF · 훈련 후 양자화 · 활성값 인식 · 혼합 정밀도 · 온디바이스 LLM

대규모 언어 모델(LLM)의 추론 비용은 모델 크기와 메모리 대역폭 요구량에 직접 비례합니다. 70B 파라미터 모델은 FP16 기준 약 140GB의 가중치 메모리를 요구하므로 단일 GPU에 올리기 어렵고, 토큰 생성 단계에서도 메모리 이동이 병목이 되기 쉽습니다. 양자화(Quantization)는 가중치, 활성값, KV cache의 비트폭을 낮춰 모델 크기와 메모리 트래픽을 줄이는 대표적인 압축 기법입니다.

LLM 배포에서는 추가 재학습 비용이 낮은 훈련 후 양자화(Post-Training Quantization, PTQ)가 가장 널리 쓰입니다. GPTQ는 근사 2차 정보를 사용해 가중치 손실을 줄이고, AWQ는 활성값 통계를 이용해 중요한 채널을 보호합니다. GGUF는 양자화 알고리즘 자체라기보다 llama.cpp 계열 런타임이 빠르게 로드할 수 있도록 양자화된 텐서와 메타데이터를 담는 배포 포맷이며, Q4_K_M, Q5_K_M 같은 여러 인코딩을 함께 운용하는 데 쓰입니다.

핵심 개념

양자화 기초

양자화는 부동소수점 값을 정수 값으로 변환하는 과정입니다. 핵심은 스케일(scale)과 제로 포인트(zero-point)입니다:

• 스케일(s): 실수 범위를 정수 범위로 매핑하는 비율
• 제로 포인트(z): 실수 0에 대응하는 정수 값
• 양자화: q = round(x / s + z)
• 역양자화: x_hat = s * (q - z)

비트폭별 메모리 절감

가중치 전용, 활성값, KV cache 양자화

LLM 양자화는 모두 같은 병목을 다루지 않습니다. 가장 보편적인 방식은 가중치 전용 양자화(weight-only quantization)로, 모델 파라미터를 4비트나 8비트로 줄여 VRAM 사용량을 크게 낮춥니다. GPTQ와 AWQ가 여기에 속하며, 추론 시 활성값은 FP16/BF16으로 유지하는 경우가 많습니다.

반대로 W8A8 계열 양자화는 가중치와 활성값을 함께 낮춰 연산량까지 줄이려는 접근입니다. 활성값에는 이상치(outlier)가 자주 나타나므로 calibration과 스케일 선택이 훨씬 민감합니다. 긴 컨텍스트 추론에서는 KV cache 양자화도 중요합니다. 가중치보다 cache가 더 큰 비중을 차지하는 배치나 장문 추론에서는 KV cache를 INT8 또는 더 낮은 비트폭으로 압축해 세션 수용량을 높입니다.

훈련 후 양자화 (PTQ)

PTQ는 이미 훈련된 모델의 가중치 또는 활성값 범위를 소량의 calibration 데이터로 추정한 뒤, 재학습 없이 비트폭만 낮추는 방법입니다. LLM에서는 전체 재학습 비용이 크기 때문에 PTQ가 실무 기본값에 가깝습니다. 보통 per-tensor보다 per-channel 또는 group-wise 스케일이 더 좋은 정확도를 제공합니다.

비교/분석

주요 양자화 기법 비교

GPTQ vs AWQ 상세 비교

동작 원리

GPTQ (Accurate Post-Training Quantization)

GPTQ는 Optimal Brain Surgeon 계열의 근사 2차 정보를 활용하는 훈련 후 양자화 기법입니다. 핵심은 각 레이어의 가중치를 한 번의 PTQ 절차로 순차 양자화하면서, 앞서 생긴 오차를 뒤쪽 가중치에 반영해 누적 손실을 줄이는 데 있습니다:

1. Hessian 근사 수집: calibration 데이터를 사용해 레이어별 2차 정보를 근사
2. 열 또는 블록 단위 양자화: 가중치를 group-wise 또는 column-wise로 낮은 비트폭에 매핑
3. 오차 전파 보정: 이미 양자화한 열의 오차를 남은 열에 반영해 후속 손실을 보정
4. 레이어 순차 처리: 큰 모델도 레이어 단위로 메모리를 통제하며 일회성 절차로 처리

GPTQ의 장점은 175B급 모델도 논문 기준 약 4 GPU시간 내에 양자화할 수 있다는 점입니다. 특히 3~4비트 구간에서 정확도 손실을 작게 유지하며, 메모리 절감 대비 품질이 좋습니다. 다만 낮은 비트폭으로 갈수록 커널 구현과 group size 선택에 따른 성능 편차가 커집니다.

AWQ (Activation-aware Weight Quantization)

AWQ는 활성값 분포를 분석하여 중요한 가중치 채널을 보호하는 가중치 전용 PTQ 기법입니다:

1. 활성화 분석: calibration 데이터로 활성화 분포를 수집
2. 중요 채널 식별: 활성값에 큰 영향을 받는 salient 채널(약 1%)을 식별
3. 스케일 탐색: 채널별 스케일을 조정해 중요한 채널의 양자화 오차를 감소
4. 양자화: 스케일링된 가중치를 양자화

AWQ의 핵심 발견은 "모든 가중치가 동일하게 중요하지 않다"는 점입니다. 중요한 소수 채널만 보호해도 오차를 크게 줄일 수 있으며, 재구성 최적화나 역전파 없이도 instruction-tuned 모델과 멀티모달 모델까지 비교적 안정적으로 일반화됩니다.

GGUF (GPT-Generated Unified Format)

GGUF는 llama.cpp 계열 런타임이 사용하는 배포 포맷으로, 다양한 양자화 인코딩과 메타데이터를 함께 저장합니다:

• Q4_0: 단순 4비트 인코딩, 크기 우선
• Q4_K_M: K-quant 계열 4비트, 품질과 크기 균형
• Q5_K_M: 5비트 K-quant, 정확도 우선
• Q8_0: 8비트 인코딩, 정확도 손실이 작음
• IQ4_XS: importance-aware 계열 4비트 인코딩

GGUF의 장점은 단일 파일 배포, 메타데이터 포함, mmap 친화성입니다. 특히 CPU 추론에서는 AVX2, AVX-512, NEON 같은 SIMD 경로와 결합해 빠른 역양자화를 수행할 수 있고, 일부 GPU 백엔드에서도 같은 포맷을 공유할 수 있습니다.

장단점

장점

1. 메모리 절감: 4비트 양자화로 모델 크기를 75% 절감
2. 추론 속도 향상: 메모리 대역폭 절감으로 디코딩 속도 증가
3. 접근성 향상: 단일 GPU나 고용량 엣지 디바이스에서도 대형 모델 실행 가능
4. 비용 절감: GPU 수요 감소로 인프라 비용 절감

단점

1. 정확도 저하: 비트폭이 낮아질수록 정확도 하락
2. 오버헤드: 양자화/역양자화 연산 비용
3. 하드웨어 의존: 특정 양자화는 특정 하드웨어에서만 충분히 가속
4. 적용 제한: 일부 기법은 특정 모델 구조나 커널 구현에 더 잘 맞음

비트폭별 실용적 트레이드오프

실무에서는 4비트가 가장 넓은 호환성을 보입니다. 8비트는 정확도 보존이 쉬워 운영 위험이 낮고, 3비트 이하부터는 모델마다 품질 편차가 급격히 커집니다. 따라서 동일한 비트폭이라도 그룹 크기, 활성값 스케일링, 실행 커널, KV cache 정책까지 함께 봐야 실제 성능을 예측할 수 있습니다.

관련 기술

참고 문헌

1. GPTQ: Frantar et al., "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers", ICLR 2023
2. AWQ: Lin et al., "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration", MLSys 2024
3. GGUF: ggerganov, "GGML/GGUF Format Specification", llama.cpp documentation
4. SmoothQuant: Xiao et al., "SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models", ICML 2023
5. BitsAndBytes: Dettmers et al., "LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale", NeurIPS 2022

관련 문서

• LLM Basics
• PagedAttention Analysis
• KV Cache Quantization Analysis
• vAttention Analysis
• LLM Inference Scheduler Analysis

관련 기술

• 모델 압축: 프루닝(Pruning), 지식 증류(Knowledge Distillation)
• 추론 가속: 커널 융합, 배치 처리, 동적 배치, paged KV cache
• 하드웨어 지원: NVIDIA Tensor Cores, AMD Matrix Cores, Intel AMX
• 프레임워크: vLLM, TensorRT-LLM, llama.cpp, Ollama

핵심 정리

1. 양자화는 LLM 배포의 핵심 기술: 메모리 용량과 대역폭 병목을 동시에 줄이기 때문에 단일 GPU, edge device, 대규모 서빙 모두에서 중요합니다.

2. GPTQ vs AWQ: GPTQ는 근사 2차 정보로 손실을 직접 줄이고, AWQ는 활성값 기반으로 중요한 채널을 보호해 실용 배포에 강합니다.

3. GGUF는 배포 포맷: GGUF 자체가 알고리즘은 아니지만, 양자화된 텐서와 메타데이터를 단일 파일로 묶어 로컬 추론 배포를 단순화합니다.

4. 비트폭 선택의 트레이드오프: FP16 대비 4비트는 압축률과 정확도의 균형이 좋아 가장 널리 쓰이고, 8비트는 운영 안정성이 높으며, 3비트 이하는 모델별 검증이 필수입니다.

5. 배포 성능은 포맷보다 커널이 좌우합니다: 같은 4비트라도 실행 커널, 그룹 크기, 활성값 처리, KV cache 정책에 따라 실제 속도와 품질이 달라집니다.

---

최종 업데이트: 2026-07-02