추론 vs 훈련 가속기

개요

AI 모델의 수명 주기는 크게 훈련(Training)과 추론(Inference) 두 단계로 나뉜다. 훈련은 대규모 데이터셋으로 모델 파라미터를 학습하는 과정으로, 막대한 병렬 연산과 메모리 대역폭이 요구된다. 반면 추론은 학습된 모델로 새로운 입력에 대한 예측을 수행하는 과정으로, 낮은 지연시간과 높은 처리량이 핵심 요구사항이다.

이 두 워크로드는 하드웨어 관점에서 근본적인 차이를 가진다. 훈련은 FP32/BF16 기반 역전파(Backpropagation)와 그래디언트 업데이트가 주 연산인 반면, 추론은 FP16/INT8/FP4 등 정밀도 낮은 순방향(Forward-only) 연산이 주를 이룬다. 이러한 차이로 인해 훈련 전용과 추론 전용 하드웨어가 서로 다른 아키텍처적 최적화를 수행하게 된다.

특히 최근 LLM 서빙에서는 추론 내부에서도 prefill과 decode의 병목이 다르게 나타난다. prefill은 긴 입력 시퀀스를 한 번에 처리하므로 텐서 코어 활용률과 메모리 대역폭이 모두 중요하고, decode는 토큰을 하나씩 생성하면서 KV cache 접근과 스케줄링 오버헤드가 지연시간을 좌우한다. 따라서 추론 가속기는 단순히 저정밀 연산 유닛만 늘리는 것이 아니라, KV cache 수용량, 배칭 정책, 요청 스케줄러와 함께 평가해야 한다.

핵심 개념

훈련과 추론의 연산 특성 비교

훈련과 추론은 연산 패턴, 메모리 사용, 정밀도 요구사항에서 뚜렷한 차이를 보인다:

훈련 워크로드 상세

딥 러닝 훈련은 다음 연산이 반복적으로 수행된다:

1. 순방향 패스 (Forward Pass): 입력 데이터가 네트워크를 통과하여 예측값 생성
2. 손실 계산 (Loss Computation): 예측값과 실제 레이블 간 차이 계산
3. 역방향 패스 (Backward Pass): 그래디언트를 역방향으로 전파하여 각 파라미터의 기여도 계산
4. 파라미터 업데이트 (Optimizer Step): Adam/SGD 등 옵티마이저로 가중치 갱신

훈련의 하드웨어 요구사항:
- 높은 FP32/BF16 연산 능력: 그래디언트 정밀도 유지를 위한 FP32 누산기
- 대용량 HBM: 파라미터 + 그래디언트 + 옵티마이저 상태 저장 (Adam의 경우 파라미터의 3~4배)
- 높은 메모리 대역폭: 역방향 패스에서 그래디언트 읽기/쓰기
- GPU 간 고속 인터커넥트: 모델 병렬화를 위한 NVLink/NVSwitch
- 높은 전력 소비: 대규모 병렬 연산으로 인한 TDP 300~700W

대표적인 훈련 전용/강화 하드웨어:

추론 워크로드 상세

추론은 학습된 모델로 새로운 입력에 대해 예측을 수행하는 과정이다:

1. 프리로딩 (Prefill): 입력 시퀀스 전체를 한 번에 처리하여 KV 캐시 생성
2. 디코딩 (Decode): 이전 토큰의 KV 캐시를 활용하여 한 토큰씩 순차 생성
3. 반복 (Iteration): EOS 토큰이나 최대 길이 도달까지 디코딩 반복

추론의 하드웨어 요구사항:
- 낮은 지연시간 (Low Latency): 사용자 대기 시간 최소화 (수십~수백 ms)
- 높은 Throughput: 동시 다중 요청 처리 능력
- 낮은 정밀도 지원: INT8/FP4 양자화로 연산량/메모리 절약
- 효율적인 메모리 관리: KV 캐시 동적 할당/해제
- 적은 전력 소비: 엣지/데이터센터 전력 효율

추론 경로에서는 prefill과 decode를 분리해 보는 것이 중요하다. prefill은 큰 배치를 활용하면 GPU의 행렬 연산 장점을 잘 살릴 수 있지만, decode는 각 요청의 길이와 종료 시점이 달라 continuous batching, prefix caching, KV cache 압축 같은 시스템 최적화가 성능을 좌우한다. 이 때문에 동일한 GPU라도 훈련용 클러스터 설정과 추론용 서빙 설정은 다른 메모리 배치와 스케줄링 정책을 사용한다.

대표적인 추론 전용/강화 하드웨어:

하드웨어 아키텍처 비교

훈련과 추론 가속기는 설계 목표에 따라 다음 영역에서 차이를 보인다:

1. 연산 유닛 구성:
- 훈련: FP32/BF16 텐서 코어 비중 높음, 역방향 패스용 FP32 누산기 확보
- 추론: INT8/FP4 정밀도 유닛 비중 높음, 순방향 연산 최적화

2. 메모리 서브시스템:
- 훈련: 대용량 HBM (80~192GB), 높은 대역폭 (3~5 TB/s)
- 추론: HBM 또는 GDDR6, 모델 크기에 따라 선택 (소형 모델은 GDDR6 충분)

3. 인터커넥트:
- 훈련: NVLink 4.0/5.0, NVSwitch (노드 내 GPU 간 고속 연결)
- 추론: PCIe Gen5 수준이면 충분 (독립 GPU 동작)

4. 전력 관리:
- 훈련: 높은 TDP 허용 (350~700W), 냉각 인프라 확보
- 추론: 낮은 TDP 선호 (72~300W), 전력 효율 (perf/watt) 중요

경제적 고려사항

AI 인프라 투자에서 훈련과 추론은 서로 다른 경제적 특성을 가진다:

훈련 비용 구조:
- 하드웨어 구매/대여 비용 (GPU 시간당 과금)
- 전력/냉각 인프라 운영비
- 데이터 수집/전처리 비용
- 수일~수주 소요 (GPT-4 수준: 수천만 달러)
- 한 번 학습하면 재사용 가능 (파라미터 고정)

추론 비용 구조:
- 하드웨어 구매/대여 비용 (지속적 운영)
- 전력/냉각 운영비 (24시간 가동)
- 요청당 비용 (per-token/per-request 과금)
- 모델 업데이트 시 재훈련 필요
- 트래픽 패턴에 따른 자동 스케일링 비용

시장 규모:
- 2024년 추론 시장이 훈련 시장을 추월 (약 60:40 비율)
- 추론의 총 소유 비용(TCO)이 훈련 대비 5~10배 높을 수 있음
- 추론 전용 칩 개발이 가속화되는 이유

최적화 전략 비교

훈련 최적화:
- 데이터 병렬화: 데이터셋을 분할하여 여러 GPU에서 병렬 학습
- 모델 병렬화: 모델 레이어를 여러 GPU에 분산 (텐서/파이프라인 병렬)
- 혼합 정밀도 훈련: FP16/BF16으로 가속하되 FP32로 그래디언트 누적
- 그래디언트 체크포인팅: 메모리 절약을 위해 일부 레이어 재계산
- 옵티마이저 오프로딩: 옵티마이저 상태를 CPU/NVM으로 오프로딩

추론 최적화:
- 배칭 (Batching): 여러 요청을 묶어 GPU 효율 극대화
- 양자화 (Quantization): INT8/FP4로 파라미터 압축 및 연산 가속
- 모델 압축: 프루닝, 슬라이딩 윈도우 어텐션 등
- 캐싱: KV 캐시, 프리페치, 프리픽스 캐싱
- 배포 최적화: 텐서 병렬, 파이프라인 병렬, 분산 추론

실제 사례 분석

OpenAI GPT-4 훈련:
- 약 25,000개 NVIDIA A100 GPU 사용
- 훈련 기간: 약 3개월
- 추정 비용: 1억 달러 이상
- 하드웨어: 대규모 InfiniBand 클러스터

OpenAI GPT-4 추론:
- Azure AI 인프라에서 수천 개 GPU 상시 운영
- 사용자 요청 기반 동적 스케일링
- 추론 전용 최적화 (양자화, KV 캐시 최적화)
- 월간 추론 비용: 수천만 달러

Groq LPU 추론 사례:
- SRAM 기반 초저지연 아키텍처
- Deterministic 실행으로 일관된 지연시간
- INT8 양자화로 토큰당 처리 비용 대폭 절감
- 훈련 불가 (추론 전용 설계)

비교/분석

가속기 선택 기준

시장 동향

훈련 가속기 시장:
- NVIDIA 지배력 유지 (80%+ 점유율)
- Google TPU로 대규모 훈련 시장 진입
- AMD MI300X로 대안 부상
- 커스텀 ASIC (Trainium, MTIA) 등장

추론 가속기 시장:
- 경쟁 치열 (NVIDIA, AMD, Groq, Cerebras, SambaNova 등)
- 추론 전용 칩 개발 가속화
- 엣지 추론 시장 성장 (NPU, AI PC)
- 추론 비용 최적화가 핵심 경쟁력

장단점

훈련 전용 가속기

장점:
- 대규모 모델 훈련에 최적화된 연산 능력
- 높은 정밀도(FP32/BF16) 지원으로 수렴 안정성
- GPU 간 고속 인터커넥트로 분산 훈련 효율
- 넓은 생태계 (CUDA, cuDNN, PyTorch)

단점:
- 높은 전력 소비 (350~700W)
- 높은 초기 비용
- 추론 워크로드에는 비효율적
- 이동성/배포 유연성 부족

추론 전용 가속기

장점:
- 낮은 전력 소비 (72~300W)
- 낮은 지연시간 (초저지연 가능)
- 높은 전력 효율 (perf/watt)
- 엣지 배포 가능 (소형 폼팩터)

단점:
- 훈련 불가능 (단방향 설계)
- 모델 크기/구조 제약
- 생태계 제한적
- 유연성 부족 (특정 모델에 최적화)

관련 기술

하드웨어 관련

• Tensor Core Architecture: 텐서 코어의 발전과 훈련/추론 연산 가속
• AI 가속기 개요: GPU, TPU, NPU 분류와 특징
• 혼합 정밀도 하드웨어: FP8/BF16/FP4 정밀도와 훈련/추론 적용
• 희소 연산 하드웨어: 추론 최적화를 위한 희소성 가속

소프트웨어/시스템 관련

• LLM 양자화: 추론 최적화를 위한 양자화 기법
• KV Cache 압축: 추론 메모리 최적화
• CUDA 메모리 관리: 훈련/추론 메모리 관리 기법
• GPU 메모리 아키텍처 기초: GPU 메모리 계층 구조

참고 문헌

• NVIDIA, "NVIDIA Hopper Architecture In-Depth," 2022
• NVIDIA, "NVIDIA Blackwell Architecture Technical Brief," 2024
• Jouppi et al., "TPU v4: An Optically Reconfigured Supercomputer for Machine Learning," ISCA 2023
• Groq, "LPU Architecture: Deterministic AI Inference," 2024
• Cerebras, "WSE-3: The Largest Chip Ever Built," 2024
• AMD, "AMD Instinct MI300 Series Product Brief," 2023
• Google Cloud, "TPU Inference Optimization Guide," 2024
• Oracle, "AI Inference vs. Training: Understanding the Difference," 2024
• Qualcomm, "Snapdragon 8 Gen 3 Mobile Platform: On-device AI Inference," 2023

핵심 정리

1. 훈련은 역방향 패스와 그래디언트 업데이트가 필요한 반면, 추론은 순방향 연산만 수행하여 연산 패턴에서 근본적인 차이가 있다
2. 훈련 가속기는 높은 FP32/BF16 정밀도, 대용량 HBM, GPU 간 고속 인터커넥트가 핵심이며, 추론 가속기는 낮은 지연시간, 높은 throughput, 낮은 전력 소비가 핵심이다
3. 경제적으로 추론의 총 소유 비용(TCO)이 훈련 대비 5~10배 높을 수 있어 추론 전용 칩 개발이 가속화되고 있다
4. NVIDIA는 훈련과 추론 양쪽에서 지배적이지만, Groq/Cerebras 등 추론 전용 플랫폼이 초저지연 시장에서 경쟁하고 있다
5. 하드웨어 선택 시 모델 크기, 배치 크기, 지연시간 요구사항, 전력 예산을 종합적으로 고려해야 한다