HBM3 Spec Summary

개요

HBM3(High Bandwidth Memory 3)는 JEDEC JESD238(2022년 1월)로 공표된 3D 적층 DRAM 인터페이스 표준입니다. HBM2E 대비 데이터 레이트가 2배 향상된 핀당 6.4Gbps를 달성하며, 채널 구조가 8ch×128bit에서 16ch×64bit로 분할되어 유연한 은행 구성과 동시 커맨드 처리를 가능하게 합니다. 단일 스택에서 최대 819GB/s의 대역폭을 제공하며, 12-Hi 적층 시 24GB 용량을 지원합니다.

HBM3는 TSV(Through-Silicon Via) 기반 3D 스택과 실리콘 인터포저를 통해 GPU나 AI 가속기와 초근접 연결됩니다. 이 구조는 기존 보드 레벨 인터페이스 대비 훨씬 짧은 신호 경로를 제공하여 전력 효율과 대역폭 밀도를 동시에 높입니다.

핵심 개념

Pseudo Channel (PC)

HBM3는 하나의 64bit 채널을 두 개의 독립적인 Pseudo Channel(PC0, PC1)로 분할합니다. 각 PC는 32bit DQ를 운용하며 256bit prefetch, 1KB 페이지 크기를 가집니다. Row/Column command bus와 CK는 두 PC가 공유하지만, 커맨드 실행은 PC 비트(Address PC)로 대상 PC를 선택하여 독립적으로 수행됩니다. PC0에 ACT 후 tRRD 대기 없이 즉시 PC1에 ACT를 발행할 수 있어 뱅크 병렬성을 극대화합니다.

Dual Command Interface

HBM3는 Row bus(R[9:0])와 Column bus(C[7:0])를 물리적으로 분리합니다. ACT/PRE 같은 Row 커맨드와 RD/WR 같은 Column 커맨드를 동시에 발행할 수 있어 커맨드 대역폭과 성능이 향상됩니다. 이것이 LPDDR6 대비 HBM3의 핵심 구조적 차이점입니다.

WDQS-to-CK Alignment Training

HBM3는 초기화 시 단 1회 WDQS-to-CK 위상 정렬 트레이닝을 수행합니다. MR8 OP3(WDQS2CK=1)로 트레이닝 모드에 진입하여 WDQS0·WDQS1을 지속 토글하며 CK 대비 위상을 스윕하고, DERR0·DERR1 신호로 위상 감지 결과를 확인합니다. 최적 정렬 확인 후 WDQS2CK=0으로 종료하면 이후 정상 동작 중에는 별도의 Sync 커맨드 없이 WDQS를 자유롭게 사용할 수 있습니다.

Data Bus Inversion (DBIac)

HBM3는 바이트 단위 DBIac(AC coupling용 Data Bus Inversion)을 지원합니다. Write 시 DBI=HIGH 샘플 시 DQ 입력 데이터를 반전시키고, Read 시 1 byte 내 천이하는 DQ 비트 수가 4개 초과이거나 4개이고 이전 DBI=HIGH이면 데이터를 반전하여 DBI=HIGH를 출력합니다. ECC와 SEV 핀은 DBIac 대상에서 제외됩니다.

On-die ECC와 ECS

HBM3는 온다이 ECC를 필수 기능으로 포함해 내부 배열과 I/O 경로에서 발생할 수 있는 비트 오류를 DRAM 내부에서 먼저 완화합니다. 또한 ECS(Error Check and Scrub)를 통해 refresh 또는 유지 보수 동작과 연계된 오류 점검 경로를 제공하여, 장시간 학습·추론 워크로드에서 누적 오류가 시스템 수준 장애로 커지기 전에 조기에 탐지할 수 있게 합니다.

Refresh 관리

HBM3는 All-Bank Refresh(REFab)와 Per-Bank Refresh(REFpb)를 모두 지원합니다. REFab은 모든 bank를 refresh하며 tRFCab 동안 ACT·RD·WR이 불가하고 최대 8회 연기가 가능합니다(9×tREFI가 최대 간격). REFpb는 단일 bank만 refresh하여 나머지 bank는 정상 접근이 가능하며, 16 bank를 순환 refresh하는 구조입니다. RFM(Refresh Management)은 Rowhammer 공격 완화를 위한 추가 refresh 메커니즘으로 RFMab과 RFMpb 두 종류가 있습니다.

비교/분석

HBM3 세대 내 비교

동작 원리

클록 시스템

HBM3는 CK(커맨드 클록)와 WDQS(데이터 스트로브)를 2가지 주파수로 운용합니다. WDQS 주파수는 CK의 2배이며, DRAM 내부에서 WDQS를 1/2로 분주하여 사용합니다. PLL에서 생성된 클록은 1/2 Divider를 통해 CK를, Phase Controller를 통해 WDQS를 생성합니다. DRAM 내부의 4-Phase Divider로 WDQS0/90/180/270을 생성하고, RDQS는 WDQS에서 파생됩니다.

커맨드 구조

HBM3는 Row bus(R[9:0])와 Column bus(C[7:0])를 분리하여 Dual Command Interface를 구현합니다. Row 커맨드는 1.5클록(ACT) 또는 Half-cycle(PRE, REF) 형태로 동작하고, Column 커맨드는 1클록(RD, WR) 형태로 동작합니다. Row bus에서 ACT가 발행되면 두 번째 rising CK edge가 실제 bank/row 활성화 기준점이 되며, 모든 관련 타이밍(tRCD, tRAS, tRC)의 기산점이 됩니다.

타이밍 규칙

HBM3는 PREpb/PREab 커맨드를 rising·falling 양쪽 edge에서 발행할 수 있으므로 타이밍 환산 공식이 LPDDR6와 다릅니다. 기존 방식(NXX = RU(tXX/tCK))과 달리 HBM3는 NXX = 0.5 × RU(2 × tXX/tCK)를 사용합니다. 결과가 falling edge인 경우, ACT처럼 rising edge만 허용되는 후속 커맨드는 0.5nCK를 추가합니다. tFAW rolling window 내 최대 4 bank activation이 허용되며(전류 피크 방지), 같은 clock cycle 내에 두 개의 PRE(rising·falling)를 발행하여 두 bank를 1사이클 내에 닫을 수 있습니다(tPPD 조건 만족 시).

읽기/쓰기 흐름

READ는 Column bus(C[7:0])에서 수신하는 1-cycle 커맨드이며 BL=8로 고정됩니다. Read Latency(RL)는 MR2 OP[7:0]에 설정되며, 첫 번째 유효 데이터는 RL×tCK + tDQSS + tWDQS2DQ_O + tDQSQ의 지연 후 나타납니다. WDQS가 Read 데이터 출력을 트리거하며, 버스트 완료 후 RDQS 반펄스 이내 Hi-Z로 전환됩니다. WRITE는 Column bus에서 수신하는 1-cycle 커맨드이며 BL=8 고정, Write Latency(WL) 이후 WDQS preamble이 시작되어 데이터가 입력됩니다. WDQS preamble과 postamble의 합이 짝수여야 내부 divider state를 유지할 수 있습니다.

전원 관리

HBM3는 네 가지 전원(VPP, VDDC, VDDQ, VDDQL)이 분리되어 있으며 램프업 순서를 반드시 지켜야 합니다(VPP ≥ VDDC = VDDQ ≥ VDDQL). Power-Down은 모든 bank가 precharge 상태일 때 발행하며 DRAM을 저전력 대기 상태로 전환합니다. Self Refresh는 DRAM이 내부적으로 자율 Refresh를 수행하는 최저전력 상태로, PASR(Partial Array Self Refresh)로 MR16 OP[3:0]으로 refresh 대상 SID를 마스킹하여 전력 절감이 가능합니다.

장단점

장점

• 초고대역폭: 단일 스택에서 최대 819GB/s(HBM3) / 1,229GB/s(HBM3E) 제공
• Dual Command Interface: Row/Column 버스 분리로 ACT와 RD/WR 동시 발행 가능
• Pseudo Channel 유연성: 16채널 구조로 세밀한 은행 관리와 높은 병렬성
• 초기화 1회 트레이닝: WDQS-to-CK 정렬이 초기화 시 1회만 수행되면 이후 Sync 불필요
• 저전력: 1.1V I/O 전압, TSV 기반 짧은 신호 경로로 전력 효율 향상
• RFM 지원: Rowhammer 공격 완화를 위한 Refresh Management 메커니즘 내장
• On-die ECC: 데이터 안정성 보장

단점

• 패키징 복잡성: TSV와 실리콘 인터포저 기반 패키징으로 제조 비용 증가
• 유연성 제한: 온패키지 연결 방식으로 인해 폼 팩터 유연성 감소
• 열 관리: 3D 적층 구조로 인한 열 집적 문제, CATTRIP/TEMP 센서로 모니터링 필요
• 공급 독점: SK Hynix, Samsung, Micron 등 소수 벤더 중심 공급 구조
• 호환성: HBM2/HBM2E와 인터페이스가 호환되지 않아 신규 설계 필요

관련 기술

• JEDEC JESD238: HBM3 표준 (2022년 1월)
• JEDEC JESD238A: HBM3E 표준 (2023년 5월)
• JEDEC JESD270-4: HBM4 표준 (2025년 4월)
• HBM Generation Comparison: HBM 세대 비교
• HBM Internal Structure: 채널, 로직 다이, TSV 내부 구조
• DRAM Refresh Comparison: DRAM 리프레시 비교
• DRAM Thermal Management: 적층 메모리의 열 센서와 제어
• SK Hynix HBM3 제품 사양 (2021년 10월 최초 개발 완료 발표)
• Samsung HBM3 제품 사양
• NVIDIA H100 HBM3 탑재 스펙 (5-site, 80GB, 3TB/s)

핵심 정리

HBM3는 JESD238 표준으로 2022년에 공표된 3D 적층 고대역폭 메모리 인터페이스로, 핀당 6.4Gbps와 16채널×64bit 구조로 단일 스택에서 최대 819GB/s의 대역폭을 제공합니다. Dual Command Interface와 Pseudo Channel 구조를 통해 커맨드 처리 병렬성을 크게 향상시켰으며, 초기화 1회 WDQS-to-CK 트레이닝으로 운영 편의성을 개선했습니다. AI/HPC/GPU 가속기 시장에서 NVIDIA H100 등 주요 제품에 채택되어 실리콘 인터포저 기반 패키징과 함께 사용되며, HBM3E와 HBM4로의 세대 진행이 이어지고 있습니다.