AMD GPU 상세

개요

AMD Instinct 데이터센터 GPU는 AI 훈련과 추론, HPC 워크로드를 가속화하는 범용 병렬 프로세서로, CDNA(Compute DNA) 아키텍처를 기반으로 개발되었다. MI250X(CDNA2, 2021), MI300X(CDNA3, 2023)은 각각 출시 시점의 최첨단 공정과 메모리 기술을 적용하여 대규모 모델 학습과 추론에서 경쟁력 있는 성능을 제공한다.

현대 대규모 언어 모델(LLM)은 파라미터 수가 수천억에서 수조 개로 증가하면서, 단일 GPU의 메모리 용량과 대역폭, 그리고 텐서 연산 처리량이 동시에 중요한 병목이 되었다. AMD는 Matrix Core를 통한 행렬 연산 가속, HBM 메모리 서브시스템 고도화, Infinity Fabric 고속 인터커넥트, 그리고 ROCm 오픈소스 소프트웨어 생태계를 통해 아키텍처를 발전시켜왔다.

핵심 개념

CDNA 아키텍처 발전

CDNA는 AMD가 데이터센터 GPU를 위해 개발한 전용 아키텍처로, 게이밍용 RDNA 아키텍처와 분리되어 AI/HPC 워크로드에 최적화되어 있다.

CDNA2 아키텍처 (MI250X):
- 220개 Compute Units, 14,080 Stream Processors
- HBM2e 128GB, 3.2 TB/s 대역폭
- Infinity Fabric 8링크, 링크당 100GB/s
- 2개의 GCD를 한 패키지에 집적해 연산 밀도 확장
- 6nm 공정으로 전력 효율 개선

CDNA3 아키텍처 (MI300X):
- 304개 Compute Units, 19,456 Stream Processors
- HBM3 192GB, 5.3 TB/s 대역폭
- Infinity Cache 256MB 도입
- 5nm/6nm 테크놀로지 노드 적용
- 1,530억 트랜지스터

CDNA 계열은 RDNA처럼 그래픽 파이프라인과 렌더링 기능을 우선하지 않고, 대형 행렬 연산과 대역폭 중심 워크로드에 맞춰 연산 유닛, HBM, 다이 간 패브릭을 확장해 왔다. MI250X는 듀얼 GCD 패키지, MI300X는 더 큰 칩렛 집적과 HBM3 용량 확장을 통해 AI/HPC 중심 설계를 강화했다.

Matrix Core 아키텍처

Matrix Core는 AMD GPU 내부에서 행렬 곱셈-누적(Multiply-Accumulate, MMA) 연산을 하드웨어 수준에서 가속화하는 특화 유닛이다. NVIDIA Tensor Core와 유사한 역할을 수행하지만, AMD만의 독특한 구현을 가진다.

MI300X Matrix Core 성능:
- FP8: 2.61 PFLOPS (구조적 희소성 적용 시 5.22 PFLOPS)
- FP16/BF16: 1.3 PFLOPS (구조적 희소성 적용 시 2.61 PFLOPS)
- FP64 Matrix: 163.4 TFLOPS
- FP32 Matrix: 163.4 TFLOPS

HBM 메모리 서브시스템

AMD Instinct GPU는 HBM(High Bandwidth Memory)을 사용하여 연산 유닛에 대량의 데이터를 빠르게 공급한다. MI300X는 192GB HBM3를 탑재하여 NVIDIA H100(80GB) 대비 2.4배의 메모리 용량을 제공한다.

MI300X는 256MB Infinity Cache(LLC)를 도입하여 캐시 히트율을 높이고 메모리 대역폭 사용을 최적화한다. 대규모 모델의 가중치와 활성값이 캐시에 머물 경우 실제 메모리 대역폭보다 높은 유효 대역폭을 달성한다.

Infinity Fabric 인터커넥트

Infinity Fabric은 AMD의 고속 다이 간 인터커넥트 기술로, CPU-GPU 간 통신과 다중 GPU 간 데이터 교환을 담당한다.

Infinity Fabric은 단순한 GPU 간 통신뿐만 아니라, CPU와 GPU 간의 메모리 일관성도 유지한다. MI300A APU는 CPU와 GPU가 동일한 메모리 공간을 공유하여, 메모리 복사 없이 직접 접근이 가능하다.

비교/분석

AMD Instinct GPU 세대 비교

NVIDIA GPU와의 비교

MI300X는 NVIDIA H100/H200 대비 메모리 용량과 대역폭에서 뚜렷한 우위를 가진다. 특히 192GB HBM3는 LLM 추론 시 더 큰 모델을 단일 GPU에 올릴 수 있게 하여, 모델 병렬 처리의 필요성을 줄인다. 반면 CUDA 생태계 대비 ROCm의 소프트웨어 성숙도와 운영 경험은 여전히 중요한 비교 지점이다.

동작 원리

GPU 컴퓨팅 파이프라인

AMD GPU는 SIMD 실행 유닛 위에 Wavefront(64스레드 묶음) 기반 스케줄링을 올린 구조를 사용한다. NVIDIA가 Warp 32개 단위를 중심으로 설명되는 것과 달리, AMD는 64스레드 Wavefront를 기본 실행 단위로 삼아 각 Compute Unit에서 여러 Wavefront를 교차 실행하며 메모리 지연 시간을 숨긴다.

MI300X Compute Unit 구성:
- Stream Processors: 64개 ( SIMD32 x 2 )
- Matrix Core: 4개
- 공유 메모리/LDS: 64KB
- 스케줄러: 4개 Wavefront 스케줄러
- 동시 활성 Wavefront: 32개

하나의 Compute Unit은 여러 Wavefront를 동시에 스케줄링하여 메모리 지연 시간을 숨긴다. Wavefront 스케줄러는 다음에 실행할 Wavefront를 선택하고, 피연산자를 읽어 연산을 수행하며, 결과를 다시 레지스터나 메모리에 기록한다.

Infinity Fabric 동작

Infinity Fabric은 토폴로지 기반의 패브릭으로, GPU 다이 간, GPU-CPU 간, 그리고 다중 GPU 간 통신을 담당한다. 각 GPU는 8개의 Infinity Fabric 링크를 가지며, 이를 통해 단일 노드 안에서 여러 GPU를 저지연으로 연결한다.

메모리 접근 경로:
1. GPU 레지스터 → Matrix Core → 공유 메모리/LDS
2. 공유 메모리 → L2 캐시 → HBM 메모리
3. Infinity Fabric을 통한 원격 GPU 메모리 접근
4. CPU-GPU 간 통일된 메모리 공간 접근 (MI300A)

MI300A처럼 CPU와 GPU를 하나의 패키지 안에서 결합한 제품은 통합 메모리 공간과 짧은 데이터 경로의 장점을 제공하지만, MI300X는 대용량 HBM과 Infinity Fabric 확장성을 우선한 분리형 가속기라는 점이 다르다.

ROCm 소프트웨어 스택

ROCm(Radeon Open Compute)은 AMD의 오픈소스 GPU 컴퓨팅 플랫폼으로, CUDA와 경쟁하는 소프트웨어 생태계를 구축하고 있다.

주요 구성 요소:
- HIP (Heterogeneous-compute Interface for Portability): CUDA와 유사한 프로그래밍 모델
- ROCm Math Library (rocBLAS, hipBLASLt, rocFFT): 수학 연산 라이브러리
- MIOpen: 딥 러닝 프리미티브 라이브러리
- RCCL: 다중 GPU 통신 라이브러리
- MIGraphX / Composable Kernel: 추론 그래프 최적화와 고성능 커널 구성
- Tensile / ROCProfiler / AMD SMI: 커널 생성, 프로파일링, 시스템 관측 도구

CUDA 대비 ROCm 장단점:

장단점

장점

• 메모리 용량 우위: MI300X 192GB HBM3는 H100 80GB 대비 2.4배, H200 141GB 대비 1.36배의 메모리 용량 제공
• 메모리 대역폭: 5.3 TB/s로 업계 최고 수준의 메모리 대역폭
• FP64 성능: HPC 워크로드에서 우수한 이중 정밀도 성능 (81.7 TFLOPS)
• 오픈소스 생태계: ROCm을 통한 투명한 소프트웨어 스택
• APU 옵션: MI300A는 CPU-GPU 통합 메모리로 프로그래밍 용이성 확보
• 대용량 단일 가속기 구성: 192GB HBM3로 모델 샤딩 부담을 줄일 수 있음

단점

• 소프트웨어 성숙도: CUDA 대비 ROCm의 생태계와 도구 체인이 아직 부족
• 도구 지원: NVIDIA NSight, cuDNN 등 고급 도구 대비 제한적
• 커뮤니티: NVIDIA 대비 상대적으로 작은 개발자 커뮤니티
• 호환성: CUDA 코드의 HIP 포팅에 시간과 비용 소요
• 전력 소비: MI300X 750W로 냉각 인프라 비용 증가

관련 기술

참고 표준 및 사양

• AMD Instinct MI300X Datasheet (2023)
• AMD Instinct MI250X Datasheet (2021)
• AMD CDNA Architecture Whitepaper
• JEDEC HBM3 표준 (JESD235B)
• AMD ROCm Documentation

관련 문서

• AI 가속기 개요
• 혼합 정밀도 하드웨어
• 텐서 코어 아키텍처
• NVIDIA GPU 상세
• GPU 메모리 아키텍처 기초
• HBM 세대 비교

핵심 정리

1. AMD Instinct GPU는 CDNA 아키텍처를 기반으로 AI/HPC 워크로드를 가속화하며, MI250X(CDNA2)와 MI300X(CDNA3)은 각각 128GB HBM2e와 192GB HBM3를 탑재하여 메모리 중심 워크로드에 최적화되어 있다.
2. MI300X는 192GB HBM3와 5.3 TB/s 대역폭으로 NVIDIA H100/H200 대비 메모리 용량과 대역폭에서 우위를 가지며, 256MB LLC/Infinity Cache를 통해 유효 대역폭을 높인다.
3. Matrix Core는 NVIDIA Tensor Core와 유사한 역할을 수행하며, MI300X는 FP8에서 2.61 PFLOPS, FP16/BF16에서 1.3 PFLOPS의 성능을 제공한다.
4. Infinity Fabric은 GPU 간, CPU-GPU 간 고속 통신을 담당하며, MI300A APU는 CPU와 GPU가 동일한 메모리 공간을 공유하여 프로그래밍 효율성을 높인다.
5. ROCm 오픈소스 소프트웨어 생태계는 CUDA 대비 투명성을 제공하지만, 생태계 성숙도와 도구 지원에서 아직 과제가 남아있다.