🧠 Accelerator

NVIDIA GPU 상세

개요

NVIDIA 데이터센터 GPU는 AI 훈련과 추론 워크로드를 가속화하는 범용 병렬 프로세서로, Volta 아키텍처부터 지속적으로 세대를 거듭하며 딥 러닝 가속기 시장에서 주도적인 위치를 차지하고 있다. A100(Ampere, 2020), H100(Hopper, 2022), H200(Hopper+HBM3e, 2024)은 각각 테이프아웃 시점의 최첨단 공정과 메모리 기술을 적용하여 대규모 모델 학습과 추론에서 업계 최고 수준의 성능을 제공한다.

현대 대규모 언어 모델(LLM)은 파라미터 수가 수천억에서 수조 개로 증가하면서, 단일 GPU의 메모리 용량과 대역폭, 그리고 텐서 연산 처리량이 동시에 중요한 병목이 되었다. NVIDIA는 Tensor Core를 통한 행렬 연산 가속, HBM 메모리 서브시스템 고도화, NVLink 고속 인터커넥트, 그리고 MIG(Multi-Instance GPU)를 통한 하드웨어 수준 가상화 등 여러 축에서 아키텍처를 발전시켜왔다.

핵심 개념

Tensor Core 아키텍처 발전

Tensor Core는 NVIDIA GPU 내부에서 행렬 곱셈-누적(Multiply-Accumulate, MMA) 연산을 하드웨어 수준에서 가속화하는 특화 유닛이다. 일반 CUDA 코어가 한 클럭당 하나의 FP32 연산을 처리하는 것과 달리, Tensor Core는 한 클럭당 수백~수천 개의 곱셈-누산 연산을 병렬로 수행한다.

세대	아키텍처	지원 정밀도	특징
1세대	Volta	FP16, INT8	최초 Tensor Core 도입, MFMA 연산
2세대	Turing	FP16, INT8, INT4	RT Core와 공존, 레이 트레이싱 가속
3세대	Ampere	FP16, BF16, TF32, FP64, INT8	TF32 도입, FP64 Tensor Core 최초, 희소성 가속
4세대	Hopper	FP16, BF16, FP8, TF32, FP64, INT8	Transformer Engine, FP8 동적 정밀도 전환
5세대	Blackwell	FP4, FP6, FP8, FP16, BF16, TF32, FP64	FP4/FP6 신규 지원, 2배 MMA 처리량

3세대 Tensor Core (A100):
- TF32(TensorFloat-32): FP32의 동적 범위와 FP16의 정밀도를 결합한 19비트 포맷
- FP64 Tensor Core 최초 도입: HPC 워크로드에서 이중 정밀도 연산 가속
- 구조적 희소성(Structured Sparsity) 지원: 2:4 희소 패턴으로 연산 2배 가속

4세대 Tensor Core (H100):
- FP8 지원: FP16 대비 2배 처리량, 절반의 메모리 사용량
- Transformer Engine: FP16↔FP8 동적 정밀도 전환으로 정밀도 손실 최소화
- DPX 명령어: Smith-Waterman/Needleman-Wunsch 등 동적 프로그래밍 알고리즘 가속

HBM 메모리 서브시스템

NVIDIA 데이터센터 GPU는 HBM(High Bandwidth Memory)을 사용하여 연산 유닛에 대량의 데이터를 빠르게 공급한다. HBM은 3D 스택 구조로 DRAM 다이를 수직으로 적층하여 폭넓은 메모리 버스 폭을 달성한다.

세대	아키텍처	HBM 종류	용량	대역폭	버스 폭	L2 캐시
A100 40GB	Ampere	HBM2	40GB	1.52 TB/s	5120-bit	40MB
A100 80GB	Ampere	HBM2e	80GB	2.0 TB/s	5120-bit	40MB
H100 SXM5	Hopper	HBM3	80GB	3.35 TB/s	5120-bit	50MB
H200	Hopper	HBM3e	141GB	4.8 TB/s	6144-bit	50MB

H200은 H100과 동일한 Hopper 컴퓨트 다이를 사용하면서 HBM3e 메모리를 탑재하여 메모리 용량을 141GB로, 대역폭을 4.8 TB/s로 확대했다. LLM 추론 워크로드에서 모델 전체를 GPU 메모리에 올릴 수 있는 용량이 중요하므로, H200은 동일한 아키텍처에서도 상당한 추론 성능 향상을 제공한다.

MIG(Multi-Instance GPU)

MIG는 단일 GPU를 최대 7개의 독립된 인스턴스로 분할하여 각각이 별도의 메모리, 캐시, 연산 유닛을 가지게 하는 하드웨어 수준 가상화 기술이다.

A100 MIG 구성:

인스턴스 수	GPU 메모리	메모리 대역폭	FP32 코어	Tensor Core
1	80GB	2.0 TB/s	6,912	432
2	각 40GB	각 1.0 TB/s	각 3,456	각 216
3	각 20GB	각 670 GB/s	각 2,304	각 144
4	각 20GB	각 500 GB/s	각 1,728	각 108
7	각 10GB	각 250 GB/s	각 988	각 52

MIG를 통해 클라우드 서비스 제공자는 단일 GPU에서 여러 테넌트의 워크로드를 격리된 환경에서 동시에 실행할 수 있다. 각 인스턴스는 완전한 하드웨어 격리를 보장하며, 다른 인스턴스의 성능 변동에 영향을 받지 않는다.

NVLink 인터커넥트

NVLink는 GPU 간 고속 직접 연결 인터페이스로, 단일 PCIe 버스의 대역폭을 넘어 다중 GPU 간 데이터 교환을 가능하게 한다.

세대	아키텍처	링크 수 (GPU당)	총 대역폭 (GPU당, 양방향)	대표 GPU 도메인
NVLink 3.0	Ampere	12	600 GB/s	8 GPU
NVLink 4.0	Hopper	18	900 GB/s	8 GPU
NVLink 5.0	Blackwell	18	1800 GB/s	8/72 GPU

NVLink는 대규모 모델의 모델 병렬 처리(Model Parallelism)에서 필수적인 역할을 한다. GPT-4, Llama 70B 등의 대규모 모델은 단일 GPU 메모리에 완전히 로드할 수 없으므로, 모델 계층을 여러 GPU에 분산하고 NVLink를 통해 활성값과 그래디언트를 교환한다. H100과 H200에서 자주 인용되는 900 GB/s 수치는 링크당 수치가 아니라 GPU당 총 양방향 대역폭이다.

비교/분석

NVIDIA 데이터센터 GPU 세대 비교

항목	A100 80GB	H100 SXM5	H200 SXM5
아키텍처	Ampere	Hopper	Hopper
제조 공정	TSMC N7	TSMC 4N	TSMC 4N
트랜지스터 수	542억	800억	800억
다이 크기	826 mm²	814 mm²	814 mm²
SM 수	108	132	132
FP32 CUDA 코어	6,912	16,896	16,896
부스트 클럭	1,410 MHz	1,980 MHz	1,980 MHz
메모리	80GB HBM2e	80GB HBM3	141GB HBM3e
메모리 대역폭	2.0 TB/s	3.35 TB/s	4.8 TB/s
L2 캐시	40MB	50MB	50MB
FP32 성능	19.5 TFLOPS	67 TFLOPS	67 TFLOPS
FP64 성능	9.7 TFLOPS	34 TFLOPS	34 TFLOPS
TF32 Tensor	156 TFLOPS	495 TFLOPS	495 TFLOPS
FP16 Tensor	312 TFLOPS	990 TFLOPS	990 TFLOPS
FP8 Tensor	-	1,980 TFLOPS	1,980 TFLOPS
INT8 Tensor	624 TOPS	1,980 TOPS	1,980 TOPS
NVLink 대역폭	600 GB/s	900 GB/s	900 GB/s
TDP	400W	700W	700W
MIG 지원	최대 7개	최대 7개	최대 7개
Transformer Engine	X	O	O
FP8 지원	X	O	O

세대별 주요 발전 포인트

A100 → H100 (Ampere → Hopper):
1. FP32 코어 2.4배 증가 (6,912 → 16,896)
2. 부스트 클럭 40% 향상 (1,410 → 1,980 MHz)
3. FP32 성능 3.4배 향상 (19.5 → 67 TFLOPS)
4. HBM3 적용으로 메모리 대역폭 67% 향상 (2.0 → 3.35 TB/s)
5. Transformer Engine으로 FP8 연산 지원, 추론 처리량 2배 향상
6. TMA(Tensor Memory Accelerator)로 비동기 메모리 전송 최적화
7. Distributed Shared Memory로 SM 간 직접 데이터 교환

H100 → H200 (HBM3 → HBM3e):
1. 메모리 용량 76% 확대 (80GB → 141GB)
2. 메모리 대역폭 43% 향상 (3.35 → 4.8 TB/s)
3. 컴퓨트 동일: 동일한 H100 다이 사용
4. LLM 추론에서 모델 적재 용량 증가로 시간당 토큰 처리량 향상

동작 원리

GPU 컴퓨팅 파이프라인

NVIDIA GPU는 SIMT(Single Instruction, Multiple Threads) 모델을 기반으로 동작한다. 수천 개의 스레드가 동일한 명령어를 병렬로 실행하며, 각 스레드는 독립적인 레지스터와 프로그램 카운터를 가진다.

H100 SM(Streaming Multiprocessor) 구성:
- FP32 CUDA 코어: 128개
- FP64 코어: 64개
- Tensor Core: 4개 (4세대)
- 공유 메모리/L1 캐시: 256KB (통합)
- 워프 스케줄러: 4개
- 동시 활성 워프: 64개

하나의 SM은 여러 Warp(32스레드 묶음)를 동시에 스케줄링하여 메모리 지연 시간을 숨긴다. Warp Scheduler는 다음에 실행할 Warp를 선택하고, Operand를 읽어 연산을 수행하며, 결과를 다시 메모리에 기록한다.

Transformer Engine 동작:
Transformer Engine은 Transformer 모델의 어텐션 레이어에서 FP16과 FP8 사이를 동적으로 전환한다. 레이어별로 활성값의 분포를 분석하여, 정밀도 손실이 허용되는 범위 내에서 FP8로 연산하여 처리량을 2배로 높인다. per-tensor 스케일링과 per-channel 스케일링을 모두 지원하여 FP8의 좁은 동적 범위를 보완한다.

MIG 하드웨어 격리

MIG는 GPU 다이를 물리적으로 격리된 파티션으로 분할한다. 각 파티션은 독립된 SM 그룹, 메모리 컨트롤러, L2 캐시 파티션을 가지며, 다른 파티션과 하드웨어 수준에서 완전히 격리된다.

메모리 컨트롤러는 파티션별로 독립된 대역폭 할당을 가지며, NVLink 링크도 파티션에 따라 분배된다. 이 격리는 보안과 성능 격리를 동시에 보장하여, 한 테넌트의 워크로드가 다른 테넌트의 성능에 영향을 미치지 않는다.

장단점

장점

풍부한 생태계: CUDA, cuDNN, cuBLAS, TensorRT, NCCL 등 가장 성숙한 GPU 소프트웨어 스택
범용성: AI 훈련/추론, HPC, 그래픽스, 데이터 분석 등 다양한 워크로드 지원
MIG 격리: 하드웨어 수준 워크로드 격리로 클라우드 멀티테넌시 지원
NVLink 확장성: 다중 GPU 간 고속 통신으로 대규모 모델 분산 처리 가능
Tensor Core 가속: 행렬 연산 하드웨어 가속으로 높은 연산 효율
Transformer Engine: FP8 동적 정밀도로 Transformer 모델 추론 성능 극대화

단점

전력 소비: H100 SXM5 기준 700W로 냉각 인프라 비용 증가
가격: A100 약 $10,000~$15,000, H100 약 $25,000~$30,000 (출시 기준)
공급 제약: AI 수요 폭증으로 인한 공급 부족, 리드 타임 장기화
의존성: CUDA 종속으로 AMD 등 대체 플랫폼 전환 비용 발생
수출 통제: 미국 수출 규제로 인한 특정 지역 판매 제한

NVIDIA 데이터센터 GPU는 Tensor Core를 통한 행렬 연산 가속, HBM 고대역폭 메모리, NVLink 고속 인터커넥트의 세 가지 축을 통해 AI 워크로드를 가속화한다.
A100(Hopper 이전 세대)은 3세대 Tensor Core, TF32, FP64 Tensor Core, MIG를 도입하여 AI 훈련과 HPC를 통합했다.
H100(Hopper)은 4세대 Tensor Core와 Transformer Engine을 통해 FP8 연산을 지원하고, FP16 대비 2배의 추론 처리량을 달성했다.
H200은 H100과 동일한 컴퓨트 다이에 HBM3e를 적용하여 메모리 용량을 141GB로, 대역폭을 4.8 TB/s로 확대했으며, LLM 추론에서 모델 적재 용량 증가로 실질적인 성능 향상을 제공한다.
MIG는 단일 GPU를 최대 7개로 분할하여 하드웨어 수준 격리와 멀티테넌시를 보장하며, NVLink는 다중 GPU 간 고속 통신으로 대규모 모델의 분산 처리를 가능하게 한다.