🧠 DRAM 검증완료

HBM Generation Comparison

HBM DRAM 세대 비교 HBM1 · HBM2 · HBM3 · HBM3E · HBM4

개요

HBM(High Bandwidth Memory)은 TSV 기반 3D 적층과 실리콘 인터포저를 이용해 GPU와 AI 가속기 가까이에서 TB/s급 대역폭을 제공하는 DRAM 계열입니다. HBM1과 HBM2는 1024-bit 인터페이스를 중심으로 출발했고, HBM3부터는 pseudo channel과 채널 분할을 통해 병렬성을 더 세밀하게 나눴습니다.

HBM3E는 HBM3를 더 높은 핀 속도와 더 낮은 전압으로 확장한 세대이고, HBM4는 2048-bit 인터페이스와 더 큰 I/O 집적을 통해 AI/HPC 워크로드의 메모리 병목을 줄이는 방향으로 진화했습니다. 공개 제품 기준으로는 Samsung HBM4가 13 Gbps, 3,300 GB/s, 36 GB 12H를, Micron HBM4가 11 Gbps 이상, 2.8 TB/s 이상, 2048-pin 버스를 제시합니다.

핵심 개념

Wide interface

HBM의 핵심은 넓은 버스입니다. 일반 DRAM이 채널 수를 늘려 대역폭을 확보하는 반면, HBM은 패키지 내부에서 매우 넓은 인터페이스를 짧은 경로로 연결해 핀당 전송량을 크게 끌어올립니다.

TSV와 인터포저

HBM은 다이 사이를 TSV로 수직 연결하고, GPU나 ASIC과는 실리콘 인터포저로 이어집니다. 이 구조 덕분에 신호 경로가 짧아지고 대역폭 밀도가 높아지지만, 패키징 난도가 올라갑니다.

Pseudo channel과 채널 세분화

HBM2의 pseudo channel은 내부 병렬성을 더 잘 활용하기 위한 분할 방식입니다. HBM3 이후에는 채널 폭을 더 잘게 나눠 병렬 접근성과 효율을 높였고, HBM4는 32채널 구조로 이 흐름을 더 확장합니다.

신뢰성 기능

세대가 올라갈수록 on-die ECC, ECS, DRFM 같은 기능이 붙어 AI/HPC 환경에서의 장시간 동작과 오류 내성을 보강합니다. HBM은 단순한 속도 경쟁이 아니라 패키징, 전력 배분, 복원력을 함께 보는 메모리입니다.

비교/분석

출처: JEDEC JESD235/235D (HBM1, HBM2) · JESD238 (HBM3) · JESD238A (HBM3E) · Samsung HBM4 product page · Micron HBM4 product page · HBM4 public technical reports

NEW = 해당 세대에서 처음 도입. N/A = 해당 없음. ‡ 공개 제품 기준 수치로, JEDEC baseline spec 자체 수치는 아님.

대역폭 계산 예시: HBM1=8×16B×1G, HBM2=8×16B×2.4G, HBM3=16×8B×6.4G, HBM3E=16×8B×9.6G, HBM4=32×8B×8G baseline입니다. 공개 제품은 Samsung 3,300 GB/s, Micron >2.8 TB/s 수준까지 제시됩니다.

Parameter	HBM1 Legacy Mode	HBM2 Pseudo Channel Mode	HBM3 Pseudo Channel Mode	HBM3E HBM3 Extended	HBM4 Pseudo Channel Mode
JEDEC Standard	JESD235 (2013)	JESD235A–D	JESD238 (Jan 2022)	JESD238A (May 2023)	JESD270-4 (Apr 2025)
ELECTRICAL	ELECTRICAL	ELECTRICAL	ELECTRICAL	ELECTRICAL	ELECTRICAL
VDDC (core)	1.2 V	1.2 V	1.1 V	1.1 V (same as HBM3)	NEW 1.0 V / 1.05 V (vendor-specific)
VDDQ (I/O)	1.2 V	1.2 V	1.1 V	1.1 V (same as HBM3)	NEW 0.7 / 0.75 / 0.8 / 0.9 V (vendor-specific)
Tx driver voltage	—	—	0.4 V	0.4 V	0.4 V
INTERFACE & TOPOLOGY	INTERFACE & TOPOLOGY	INTERFACE & TOPOLOGY	INTERFACE & TOPOLOGY	INTERFACE & TOPOLOGY	INTERFACE & TOPOLOGY
Total interface width	8ch × 128b = 1024-bit	8ch × 128b = 1024-bit	16ch × 64b = 1024-bit	16ch × 64b = 1024-bit (same as HBM3)	NEW 32ch × 64b = 2048-bit (doubled vs. HBM3/3E)
Channels / stack	Up to 8	Up to 8	Up to 16	Up to 16 (same as HBM3)	NEW Up to 32
DQ width / channel	128-bit	128-bit	64-bit	64-bit	64-bit
Pseudo channels / ch.	—	2 × 64-bit	2 × 32-bit	2 × 32-bit	2 × 32-bit
Total pseudo ch. / stack	—	16	32	32	NEW 64
Prefetch / access	256-bit (BL2)	256-bit / PC (BL4)	256-bit / PC (BL8)	256-bit / PC (BL8)	256-bit / PC (BL8)
Separate cmd/data buses	—	—	—	—	NEW ✓
SPEED & BANDWIDTH	SPEED & BANDWIDTH	SPEED & BANDWIDTH	SPEED & BANDWIDTH	SPEED & BANDWIDTH	SPEED & BANDWIDTH
Data rate / pin	1.0 Gbps (target)	1.0 – 3.6 Gbps/pin	4.8 – 6.4 Gbps/pin	NEW 9.2 – 9.6 Gbps/pin (JESD238A speed bins)	NEW 8.0 Gbps/pin‡ baseline; public products 11.0 – 13.0 Gbps‡
Peak bandwidth / stack	~128 GB/s (8ch×16B×1G)	~307 GB/s (8ch×16B×2.4G)	~819 GB/s (16ch×8B×6.4G)	NEW ~1,229 GB/s (~1.2 TB/s) (16ch×8B×9.6G)	NEW ~2,048 GB/s (2 TB/s) baseline; public products >2.8 TB/s‡
Bandwidth gain vs. prev. gen	baseline	~2.4×	~2.7×	~1.5×	~1.7×
ARRAY ORGANIZATION	ARRAY ORGANIZATION	ARRAY ORGANIZATION	ARRAY ORGANIZATION	ARRAY ORGANIZATION	ARRAY ORGANIZATION
Banks / channel	8	8, 16, 32, or 48	16, 32, 48, or 64	16, 32, 48, or 64 (same as HBM3)	TBD (≥ HBM3)
Bank groups	—	✓	✓	✓	✓
Page size / pseudo ch.	2 KB / ch.	2 KB / ch.	1 KB / PC	1 KB / PC	1 KB / PC
Die density	1, 2 Gb / die	4, 8, 12, 16 Gb / die	8, 16, 24, 32 Gb / die	16, 24 Gb / die (products: 24GB 8-Hi, 36GB 12-Hi)	NEW 24, 32 Gb / die
Stack heights (Hi)	4-Hi	8-Hi (12-Hi opt.)	4 / 8 / 12 / 16-Hi	8-Hi, 12-Hi, 16-Hi	4 / 8 / 12 / 16-Hi
Max stack capacity	~4 GB	~24 GB (8-Hi, 16Gb)	~64 GB (16-Hi, 32Gb)	~36 GB‡ (12-Hi, SK Hynix/Micron)	NEW ~64 GB (16-Hi, 32Gb)
HBM3 controller compat.	—	—	—	✓ (HBM3E ↔ HBM3)	✓ (backward compat. w/ HBM3)
RELIABILITY & RAS	RELIABILITY & RAS	RELIABILITY & RAS	RELIABILITY & RAS	RELIABILITY & RAS	RELIABILITY & RAS
ECC mode	Optional (external pins)	Optional (external pins)	On-die ECC (mandatory) Symbol-based, 256b+16b	On-die ECC (mandatory) (same as HBM3)	On-die ECC (mandatory) + enhanced RAS
Error Check & Scrub (ECS)	—	—	✓	✓	✓
Directed Refresh Mgmt. (DRFM)	—	—	—	—	NEW ✓ (row-hammer mitigation)
DBIac	—	✓	✓	✓	✓
Interconnect redundancy remapping	✓	✓	✓	✓	✓
Self-refresh modes	✓	✓	✓	✓	✓

동작 원리

HBM 컨트롤러는 row activate와 read/write 명령을 내린 뒤, pseudo channel 단위로 데이터를 분산해 더 짧은 내부 경로로 주고받습니다. 이런 구조는 같은 핀 수에서 더 높은 처리량을 얻는 데 유리하지만, command scheduling과 refresh 타이밍을 더 정교하게 맞춰야 합니다.

적층된 DRAM 다이와 logic die 사이의 연결은 TSV와 micro-bump가 담당하고, GPU와 HBM 스택 사이의 연결은 인터포저가 담당합니다. 그래서 성능은 메모리 다이 자체보다도 패키지 설계, 전원 분배, 열 확산, 인터포저 배선 품질에 크게 좌우됩니다.

HBM3E와 HBM4에서는 on-die ECC, ECS, DRFM 같은 기능이 오류 회복과 장기 안정성을 보강합니다. AI 학습과 추론에서는 대역폭이 곧 처리량이므로, HBM은 "빠른 메모리"라기보다 "패키지 단위 시스템 메모리"에 가깝게 다뤄집니다.

장단점

장점: 매우 넓은 버스로 TB/s급 대역폭을 만들 수 있습니다.
장점: 짧은 인터커넥트 덕분에 핀당 전력 효율이 높습니다.
장점: AI/HPC용 GPU와 ASIC에 필요한 대용량 병렬 처리에 잘 맞습니다.
단점: 인터포저, TSV, 적층 공정 때문에 제조 비용과 난도가 높습니다.
단점: 열 밀도가 높아 패키지 수준의 열 설계가 중요합니다.
단점: DIMM처럼 쉽게 교체하거나 확장하기 어렵습니다.

핵심 정리

HBM 세대 비교의 핵심은 버스 폭, 핀 속도, 적층 높이, 신뢰성 기능이 함께 진화한다는 점입니다. HBM1과 HBM2는 1024-bit 구조를, HBM3와 HBM3E는 더 세분화된 채널과 높은 핀 속도를, HBM4는 2048-bit 인터페이스와 공개 제품 기준 3TB/s 안팎의 대역폭을 보여 줍니다. 실제 성능은 메모리 다이만이 아니라 인터포저, logic die, 전력 분배, 발열 관리까지 포함한 패키지 설계가 결정합니다. 이 문서는 표준 세대와 공개 제품 정보를 함께 놓고 HBM의 진화 방향을 빠르게 대조할 수 있게 정리합니다.

Ryotta's Basic