AI 가속기 개요

개요

AI 가속기(AI Accelerator)는 인공지능 및 머신러닝 워크로드를 특화된 하드웨어로 가속화하는 프로세서를 총칭한다. 범용 프로세서(CPU)가 von Neumann 구조에서 메모리 병목과 낮은 병렬성에 직면한 반면, AI 가속기는 대규모 행렬 연산(Multiply-Accumulate)에 최적화된 아키텍처를 통해 수십 배에서 수백 배의 성능 향상을 달성한다. 대표적인 AI 가속기로는 NVIDIA GPU, Google TPU, 그리고 다양한 제조사의 NPU(Neural Processing Unit)가 있다.

현대 AI 모델은 파라미터 수가 수십억에서 수조 개로 증가하면서 대규모 병렬 행렬 연산이 필수적이 되었다. GPU는 범용 병렬 처리 능력으로 AI 훈련/추론의 주력 플랫폼으로 자리잡았고, TPU는 Google이 구글 클라우드용으로 자체 설계한 매트릭스 프로세서로 대규모 훈련에서 높은 비용 효율성을 제공한다. NPU는 엣지/모바일 기기에서 저전력으로 추론을 가속화하는 데 특화되어 있다.

핵심 개념

AI 가속기 분류

AI 가속기는 설계 철학과 목표 워크로드에 따라 세 가지 주요 카테고리로 분류된다:

GPU 아키텍처

GPU(Graphics Processing Unit)는 원래 그래픽 렌더링을 위해 설계되었으나, 대규모 병렬 연산 능력으로 AI 분야에서 가장 널리 사용되는 가속기가 되었다.

GPU의 핵심 특징:
- SIMT(Single Instruction, Multiple Threads): 수천 개의 스레드가 동일한 명령어를 병렬로 실행
- Tensor Core: 행렬 곱셈-누적(MMA) 연산을 하드웨어 수준에서 가속화
- CUDA 생태계: cuDNN, cuBLAS, TensorRT 등 풍부한 소프트웨어 스택
- MIG(Multi-Instance GPU): 단일 GPU를 최대 7개의 독립된 인스턴스로 분할
- Transformer Engine: FP8/FP16 혼합 정밀도를 지능적으로 관리하는 하드웨어+소프트웨어 기술

NVIDIA GPU 세대별 발전:

NVIDIA H100 상세 사양:
- 제조 공정: TSMC 4N (NVIDIA 맞춤형)
- 트랜지스터: 800억 개
- 다이 크기: 814 mm²
- SM 수: 132개 (SXM5), 114개 (PCIe)
- Tensor Core: 528개 (4세대)
- 메모리: 80GB HBM3 (SXM5), 80GB HBM2e (PCIe)
- 메모리 대역폭: 3 TB/s (SXM5), 2 TB/s (PCIe)
- TDP: 700W (SXM5), 350W (PCIe)
- 성능: FP8 기준 2,000 TFLOPS (SXM5), 1,600 TFLOPS (PCIe)

H100의 주요 혁신:
1. 4세대 Tensor Core: A100 대비 2배 성능 (클럭당)
2. FP8 데이터 형식: FP16 대비 2배 처리량, 절반의 메모리 사용
3. Transformer Engine: FP8/FP16 혼합 정밀도 지능형 관리
4. NVLink 5.0: 900 GB/sec 대역폭 (PCIe Gen5 대비 7배)
5. Thread Block Cluster: 다중 SM 간 협업 실행
6. Distributed Shared Memory: SM 간 직접 메모리 접근

TPU 아키텍처

TPU(Tensor Processing Unit)는 Google이 자체 설계한 딥 러닝 가속기로, systolic array 아키텍처를 사용하여 대규모 행렬 연산을 효율적으로 처리한다.

TPU의 핵심 특징:
- Systolic Array: 데이터가 파이프라인을 통해 순차적으로 흐르며 연산이 수행됨
- MXU(Matrix Multiply Unit): 256×256 또는 128×128 곱셈-누산 유닛
- HBM(High Bandwidth Memory): 고대역폭 메모리로 데이터 공급 병목 최소화
- ICI(Inter-Chip Interconnect): 칩 간 고속 연결로 Pod 규모 확장
- SparseCore: 희소 연산 가속 (추천 시스템 등)

TPU 세대별 비교:

TPU 아키텍처 상세:
- TensorCore 구성: MXU + 벡터 유닛 + 스칼라 유닛
- 데이터 형식: bfloat16 입력, FP32 누산
- 메모리 계층: HBM → 온칩 SRAM → MXU 내 레지스터
- 인터커넥트: ICI (Optical Circuit Switch 사용)
- 확장 경로: 단일 칩 → Pod (ICI) → Multislice (DCN)

AMD GPU 아키텍처

AMD Instinct 시리즈는 데이터 센터 AI/-HPC 워크로드를 위한 AMD의 GPU 가속기 라인업이다.

AMD의 핵심 특징:
- CDNA 아키텍처: AI/HPC 특화 범용 병렬 처리 아키텍처
- Matrix Core Technologies: 다양한 정밀도 포맷 지원 (INT8, FP8, FP16/BF16, TF32, FP32, FP64)
- 칩렛 설계: 다중 칩렛 패키지로 고밀도 통합
- Infinity Fabric: 고속 칩 간 인터커넥트

AMD Instinct MI300 시리즈:

AMD vs NVIDIA 성능 비교:
- MI300X는 H100 대비 1.3배 AI 성능 (FP8 기준)
- MI300X는 H100 대비 2.4배 HPC 성능 (FP64 기준)
- MI300X는 H100 대비 2.4배 메모리 용량, 1.6배 대역폭
- MI300A는 CPU+GPU 통합으로 테라바이트 규모 컴퓨팅에 최적화

NPU 아키텍처

NPU(Neural Processing Unit)는 모바일, 엣지, 임베디드 기기에서 추론을 가속화하도록 설계된 저전력 프로세서이다.

NPU의 핵심 특징:
- 저전력 설계: 1W 미만에서 수십 TOPS 달성
- 고정된 데이터 타입: INT8, INT4 위주 정밀도 지원
- 하드웨어 뉴럴 네트워크: 프로그래밍 가능한 가중치와 활성화 함수
- 통합 설계: SoC 내 CPU/GPU/NPU가 함께 동작

주요 NPU 비교:

비교/분석

GPU vs TPU vs NPU 종합 비교

워크로드별 최적 가속기 선택

성능 효율 비교 (TOPS/W)

동작 원리

GPU 동작 원리

GPU는 SIMT(Single Instruction, Multiple Threads) 모델로 동작한다:

1. 커널 실행: CPU가 GPU 커널(함수)을 호출
2. 스레드 생성: GPU가 수천 개의 스레드를 병렬로 생성
3. 데이터 로드: Global Memory에서 Shared Memory/Registers로 데이터 로드
4. 병렬 연산: 각 스레드가 독립적으로 연산 수행
5. 결과 저장: 결과를 Global Memory에 기록

Tensor Core 동작:
- 16×16 행렬 블록 단위로 MMA(Matrix Multiply-Accumulate) 수행
- FP16 입력, FP32 누산, FP16 출력
- 매 클럭 64개의 FMA(Fused Multiply-Add) 연산

TPU 동작 원리

TPU는 systolic array 아키텍처로 동작한다:

1. 데이터 로드: HBM에서 MXU로 가중치와 활성화 로드
2. Systolic 흐름: 데이터가 격자형 곱셈-누산 유닛을 통해 순차적으로 흐름
3. 누산: 각 MXU에서 곱셈 결과가 인접 유닛으로 전달되며 누산
4. 결과 출력: 최종 결과가 MXU에서 빠져나와 HBM에 저장
5. 파이프라인: 새 데이터가 계속 흐르면서 높은 처리량 달성

Systolic Array의 장점:
- 메모리 접근 없이 곱셈-누산 연산이 파이프라인으로 수행
- 높은 에너지 효율 (데이터 이동 최소화)
- 대규모 행렬 연산에 최적화

NPU 동작 원리

NPU는 고정된 신경망 구조에 최적화된 하드웨어로 동작한다:

1. 모델 로드: 사전 훈련된 모델의 가중치를 NPU 메모리에 로드
2. 추론 실행: 입력 데이터가 뉴럴 네트워크 레이어를 순방향으로 통과
3. 레이어별 연산: 컨볼루션, Fully Connected, Activation 등 고정된 연산 수행
4. 결과 출력: 최종 예측 결과를 CPU에 반환

NPU의 특징:
- INT8/INT4 양자화를 통한 저전력 추론
- 하드웨어 레벨의 활성화 함수 (ReLU, Sigmoid 등)
- 메모리 효율적인 가중치 압축

장단점

GPU

TPU

NPU

관련 기술

프레임워크 및 소프트웨어 스택

• Tensor Core Architecture: NVIDIA 텐서 코어 아키텍처 상세 분석
• NVIDIA CUDA: GPU 병렬 프로그래밍 플랫폼
• NVIDIA cuDNN: 딥 러닝 런타임 가속 라이브러리
• NVIDIA TensorRT: 추론 최적화 엔진
• AMD ROCm: AMD GPU용 오픈소스 소프트웨어 스택
• AMD HIP: AMD GPU 프로그래밍 인터페이스
• Google JAX: TPU 최적화 머신러닝 프레임워크
• TensorFlow/XLA: TPU/GPU 컴파일러
• Apple Core ML: Apple NPU 통합 프레임워크
• Qualcomm AI Engine: Qualcomm NPU 개발 도구

하드웨어 인터커넥트

• Memory Hierarchy: 메모리 계층 구조와 AI 가속기 메모리 접근
• HBM Generation Comparison: HBM 메모리 기술 비교
• NVMe Architecture: 스토리지 인터페이스
• NVLink: NVIDIA GPU 간 고속 인터커넥트
• Infinity Fabric: AMD GPU 간 고속 인터커넥트
• ICI (Inter-Chip Interconnect): Google TPU 칩 간 연결

참고 문헌

• Jouppi et al., "In-Datacenter Performance Analysis of a Tensor Processing Unit," ISCA 2017
• Jouppi et al., "TPU v4: An Optically Reconfigured Supercomputer for Machine Learning with Hardware Support for Embeddings," ISCA 2023
• NVIDIA Ampere Architecture Whitepaper (2020)
• NVIDIA Hopper Architecture Whitepaper (2022)
• NVIDIA Blackwell Architecture Whitepaper (2024)
• Google Cloud TPU Documentation, "TPU Architecture" (2024)
• AMD Instinct MI300 Series Product Brief (2023)
• AMD CDNA 3 Architecture Whitepaper (2023)
• Qualcomm Snapdragon 8 Gen 3 Whitepaper (2023)
• Apple A17 Pro Neural Engine Technical Brief (2023)

핵심 정리

1. AI 가속기는 행렬 연산 가속을 위해 설계된 전용 하드웨어로, GPU, TPU, NPU의 세 가지 주요 카테고리로 분류된다
2. GPU는 CUDA 생태계와 유연한 프로그래밍으로 AI 훈련/추론의 주력 플랫폼이며, NVIDIA H100은 FP8 기준 2,000 TFLOPS를 달성한다
3. AMD MI300X는 192GB HBM3와 5.3 TB/s 대역폭으로 대용량 LLM 추론에 최적화되어 있으며, H100 대비 1.3배 AI 성능을 제공한다
4. TPU는 systolic array 아키텍처로 대규모 행렬 연산을 효율적으로 처리하며, Google Cloud에서 Pod 규모(수천 칩)로 확장 가능하다
5. NPU는 1W 미만의 초저전력으로 엣지/모바일 기기에서 추론을 가속화하며, Apple/Qualcomm/Samsung 등이 경쟁하고 있다
6. 워크로드 특성에 따라 최적의 가속기를 선택하는 것이 중요하며, 대규모 훈련은 TPU, 범용 AI는 GPU, 대용량 추론은 AMD MI300X, 엣지 추론은 NPU가 적합하다