HBM 내부 구조

HBM(High Bandwidth Memory)은 TSV(Through-Silicon Via) 기반 3D 적층과 실리콘 인터포저를 통해 GPU 및 AI 가속기와 근거리에서 TB/s급 대역폭을 제공하는 DRAM 계열입니다. DDR이나 GDDR이 평면적 레이아웃에서 채널과 뱅크를 확장하는 것과 달리, HBM은 수직 적층과 폭넓은 인터페이스를 통해 대역폭 밀도를 극대화합니다. 이 문서에서는 HBM의 내부 구조를 분석하고, TSV 적층, 인터포저 연결, 뱅크/채널 조직, 로직 다이 등 핵심 아키텍처를 설명합니다.

HBM2e부터 시작된 pseudo channel 분할은 HBM3와 HBM3E에서 32bit 단위로 세분화되었고, HBM4는 2048-bit 인터페이스와 32채널 구조로 확장되었습니다. 이러한 구조적 변화는 단순한 대역폭 증가가 아니라, 컨트롤러의 병렬 스케줄링 효율과 패키지 수준 열/전력 관리까지 포함한 시스템 설계의 변화를 의미합니다.

핵심 개념

TSV(Through-Silicon Via)

HBM의 핵심 구조 기술은 TSV입니다. 실리콘 다이를 관통하는 수직 전도체를 통해 여러 개의 DRAM 다이를 수직으로 연결합니다. TSV 피치는 대략 40~55μm 수준이며, 다이 두께를 얇게 만들어 신호 경로를 최소화합니다.

TSV 장점:
- 짧은 신호 경로로 높은 대역폭과 낮은 전력 달성
- 수직 연결로 패키지 면적 절약
- 높은 I/O 밀도 구현 가능

TSV 단점:
- 다이 얇게 만들기(thinning) 공정 복잡도 증가
- 열응력(stress)으로 인한 다이 손상 위험
- 적층 높이에 따른 열 방출 어려움

실리콘 인터포저

HBM 스택은 GPU나 ASIC과 실리콘 인터포저를 통해 연결됩니다. 인터포저는 기존 PCB 대비 훨씬 더 미세한 배선을 제공해 짧은 거리에서 높은 대역폭을 구현합니다.

인터포저 구조:
- 실리콘 기반 기판 (μbump 피치 40~55μm)
- 2.5D 패키징: HBM과 프로세서가 나란히 배치
- 고밀도 배선으로 높은 대역폭 인터커넥트 제공

로직 다이(Base Die)

HBM 스택의 가장 아래쪽에는 로직 다이가 위치합니다. 이 다이는 DRAM 다이 사이의 인터페이스와 외부 컨트롤러와의 통신을 담당합니다.

로직 다이 기능:
- DRAM 다이 사이 TSV 신호 라우팅
- 외부 메모리 컨트롤러와의 인터페이스
- 온다이 ECC, ECS(Error Check & Scrub) 구현
- 전력 관리 및 열 모니터링
- HBM4에서는 command/data 분리 인터페이스 지원

Pseudo Channel

HBM2부터 도입된 pseudo channel은 하나의 물리적 채널을 두 개의 논리적 채널로 분리한 것입니다. 각 pseudo channel은 독립적으로 명령을 수신하고 데이터를 전송할 수 있어 병렬성이 향상됩니다.

HBM3 이후에는 채널 폭을 더 잘게 나누면서도 채널과 뱅크가 특정 DRAM 다이 하나에만 고정되지 않도록 스택 전체에 분산 배치합니다. 따라서 적층된 각 다이는 동일한 채널 조직의 일부를 반복적으로 포함하고, 실제 외부 인터페이스 종단과 스케줄링 제어는 로직 다이와 패키지 단에서 마무리됩니다.

HBM 스택 구조

적층 구성

HBM은 여러 개의 DRAM 다이를 수직으로 적층합니다. 대표적인 적층 구성은 4-Hi, 8-Hi, 12-Hi, 16-Hi입니다.

4-Hi 스택:
- 4개의 DRAM 다이 적층
- 초기 HBM1에 사용
- 낮은 용량 (최대 4GB)
- 열 관리가 상대적으로 용이

8-Hi 스택:
- 8개의 DRAM 다이 적층
- HBM2/HBM3에서 일반적
- 최대 24GB 용량 (16Gb 다이 기준)
- 중간 수준의 열 밀도

12-Hi 스택:
- 12개의 DRAM 다이 적층
- HBM3E/HBM4에서 주력
- 최대 36GB 용량 (24Gb 다이 기준)
- 높은 열 밀도로 패키지 수준 열 설계 중요

16-Hi 스택:
- 16개의 DRAM 다이 적층
- HBM4에서 도입
- 최대 64GB 용량 (32Gb 다이 기준)
- 가장 높은 열 밀도와 제조 난도

TSV 연결 구조

각 DRAM 다이 사이에는 TSV와 micro-bump가 사용됩니다.

연결 계층:
1. DRAM 다이 내부: 셀 어레이 → 감 증폭기 → I/O 회로
2. 다이 사이: TSV → μbump → 다음 다이
3. 로직 다이: TSV 수신 → 외부 인터페이스 변환
4. 인터포저: 로직 다이 → GPU/ASIC 연결

열 관리

적층 구조로 인해 열 방출이 중요한 문제입니다.

열 경로:
- DRAM 다이에서 생성된 열은 위쪽 다이를 통과해 패키지 상부로 전달
- 상부 방열판(heat spreader)을 통해 외부로 방출
- 로직 다이는 아래쪽 인터포저를 통해 열 전달

열 대책:
- 다이 두께 최소화로 열 저항 감소
- NCF(Non-Conductive Film) 열전도율 향상
- 패키지 수준 방열 설계
- 동작 전압 최적화로 발열 감소

뱅크/어레이 조직

뱅크 구조

HBM의 각 채널은 여러 개의 뱅크로 구성됩니다. 뱅크는 독립적으로 접근 가능한 최소 단위입니다.

뱅크 수준:
- HBM1: 채널당 8 뱅크
- HBM2: 채널당 8/16/32/48 뱅크
- HBM3/HBM3E: 채널당 16/32/48/64 뱅크
- HBM4: HBM3 이상 수준

뱅크 그룹:
- HBM2부터 bank group 개념 도입
- 같은 그룹 내 뱅크는 읽기/쓰기 타이밍 공유
- 그룹 간 독립 접근으로 병렬성 향상

페이지(page) 구조

각 뱅크는 행(row)과 열(column)로 구성된 메모리 어레이를 가지고 있습니다.

프리페치(Prefetch)

프리페치는 한 번의 메모리 접근으로 여러 비트의 데이터를 동시에 읽어오는 기술입니다.

인터커넥트 구조

내부 인터커넥트

HBM 스택 내부의 인터커넥트는 크게 세 가지 레이어로 구성됩니다.

1. DRAM 다이 사이:
- TSV + μbump 연결
- 피치: 40~55μm
- 대역폭: 채널당 수십 GB/s

2. 로직 다이:
- TSV 수신 후 인터페이스 변환
- 외부 I/O로 데이터 전송
- HBM4: 2048-bit 인터페이스

3. 인터포저:
- HBM ↔ GPU/ASIC 연결
- 고밀도 배선 (μbump 피치 40~55μm)
- 기존 PCB 대비 10~20배 높은 배선 밀도

외부 인터페이스

HBM은 외부 메모리 컨트롤러와 독특한 인터페이스를 사용합니다.

HBM3/HBM3E 인터페이스:
- 1024-bit 데이터 버스 (16채널 × 64-bit)
- 16개의 CA(Command/Address) 신호
- 별도의 클럭 신호
- 단방향 데이터 전송 (Read/Write 분리)

HBM4 인터페이스:
- 2048-bit 데이터 버스 (32채널 × 64-bit)
- Command/Data 분리 인터페이스 (NEW)
- 양방향 데이터 전송 지원
- 높은 대역폭과 낮은 지연시간 동시 달성

패키징 구조

MPGA(Multi-Package Gate Array)

HBM은 2.5D 패키지 위에 HBM 스택과 프로세서를 함께 올리는 방식으로 패키징됩니다. 여러 다이를 하나의 패키지 안에서 인터포저와 함께 통합하는 구조입니다.

패키지 구성:
- 하부: 실리콘 인터포저 + 기판
- 중부: 적층된 DRAM 다이 + 로직 다이
- 상부: 방열판(heat spreader)

패키지 특성:
- 약 1~2cm² 면적
- 약 1mm 두께 (적층 높이에 따라 달라짐)
- BGA(Ball Grid Array) 방식으로 PCB에 실장

NCF(Non-Conductive Film)

다이 사이를 접착하고 보호하는 절연 필름입니다.

NCF 역할:
- 다이 사이 전기적 절연
- 기계적 접착력 제공
- 열 전달 경로 확보
- μbump 사이 간격 유지

μbump(Micro Bump)

다이 사이를 연결하는 미세한 솔더 볼입니다.

μbump 특성:
- 피치: 40~55μm
- 크기: 수십 μm
- 전기적 연결 + 기계적 지지
- 열팽창 계수 차이 대응 필요

전력 관리

전압 구성

HBM은 여러 전압 레일을 사용합니다.

전력 소비

HBM의 전력 소비는 크게 세 가지로 분류됩니다.

1. 동적 전력:
- DRAM 어레이 접근 시 소비
- 프리페치 버퍼 동작
- I/O 트랜시버 동작

2. 정적 전력:
- 대기 상태에서도 소비되는 전력
- 감 증폭기 바이어스
- 레퍼런스 전압 회로

3. 리프레시 전력:
- 셀 데이터 유출 방지를 위한 주기적 리프레시
- 온도에 따라 리프레시 주기 변경
- HBM3E/4: DRFM(Directed Refresh Management)으로 리프레시 최적화

신뢰성 기능

온다이 ECC

HBM3부터 모든 칩에 온다이 ECC가 탑재되었습니다.

ECC 기능:
- 심볼 기반 ECC (256b + 16b)
- 단일 비트 오류 수정
- 다중 비트 오류 검출
- 외부 시스템 ECC와 별도 동작

ECS(Error Check & Scrub)

HBM3부터 도입된 ECS는 주기적으로 메모리를 검사하고 오류를 수정합니다.

ECS 동작:
- 백그라운드에서 메모리 블록 스캔
- 오류 검출 시 자동 수정
- 수정 불가능한 오류는 로깅
- 시스템 수준 오류 관리와 연동

DRFM(Directed Refresh Management)

HBM4에 도입된 DRFM은 row-hammer 공격을 방어합니다.

DRFM 동작:
- 임계 행(row) 활성화 횟수 모니터링
- 임계 도달 시 해당 행의 인접 행 리프레시
- row-hammer로 인한 데이터 손상 방지
- 성능 저하 최소화를 위한 지능형 리프레시

DBIac(Data Bus Inversion)

데이터 버스의 전력 소비를 줄이기 위한 기법입니다.

DBIac 동작:
- 전송되는 데이터에서 비트 반전 분석
- 반전 시 전력 소비가 줄어들면 데이터 반전 후 전송
- 수신측에서 다시 원복
- 평균 전력 소비 10~20% 절감

동작 원리

읽기 동작 흐름

1. 컨트롤러 명령: GPU/ASIC 메모리 컨트롤러가 읽기 명령 발행
2. 주소 디코딩: 뱅크, 행, 열 주소 해석
3. 행 활성화(Activate): 대상 행의 데이터를 감 증폭기로 복사
4. 프리페치: 감 증폭기에서 프리페치 버퍼로 데이터 로드
5. 데이터 출력: 프리페치 버퍼에서 high-speed I/O lane으로 데이터 전송
6. 인터페이스: 인터포저를 통해 GPU/ASIC으로 데이터 전달

쓰기 동작 흐름

1. 컨트롤러 명령: 쓰기 명령과 데이터 발행
2. 주소 디코딩: 뱅크, 행, 열 주소 해석
3. 행 활성화: 대상 행 활성화
4. 데이터 수신: I/O lane에서 프리페치 버퍼로 데이터 수신
5. 셀 기록: 프리페치 버퍼에서 DRAM 셀로 데이터 기록
6. 프리차지: 행 닫기 및 다음 접근 준비

리프레시 동작

DRAM 셀의 전하가 누설되는 것을 방지하기 위해 주기적인 리프레시가 필요합니다.

리프레시 유형:
- Auto Refresh: 컨트롤러가 리프레시 명령을 발행
- Self Refresh: 저전력 대기 시 자체 리프레시
- Temperature-Controlled Refresh: 온도에 따라 리프레시 주기 조절
- DRFM (HBM4): row-hammer 방어를 위한 지능형 리프레시

명령 스케줄링

HBM 컨트롤러는 여러 뱅크의 명령을 효과적으로 스케줄링해야 합니다.

스케줄링 고려사항:
- 뱅크 간 명령 충돌 방지
- 리프레시 타이밍 확보
- Pseudo channel 간 부하 균형
- 대기 시간 최소화

성능 분석

대역폭 계산

HBM의 이론적 최대 대역폭은 다음 공식으로 계산합니다.

대역폭 (GB/s) = (채널 수 × 채널당 비트폭 / 8) × 데이터 속도 (Gbps)

HBM3 예시 (6.4 Gbps):
- 16채널 × 64-bit / 8 = 128B
- 128B × 6.4 Gbps = 819 GB/s

HBM4 예시 (8 Gbps baseline):
- 32채널 × 64-bit / 8 = 256B
- 256B × 8 Gbps = 2,048 GB/s (2 TB/s)

지연시간(Latency)

HBM의 지연시간은 DDR보다 약간 높지만, 높은 대역폭으로 이를 상쇄합니다.

주요 타이밍 파라미터:
- tRCD (RAS-to-CAS): ~13ns
- tRP (Precharge): ~13ns
- tRAS (Active): ~30ns
- tCAS (CAS Latency): ~13ns

전력 효율

HBM은 비트당 전력 효율이 높습니다.

전력 효율 비교:
- DDR5: ~5 pJ/bit
- HBM3E: ~3 pJ/bit
- HBM4: ~2.5 pJ/bit (목표)

장단점

장점

• 매우 높은 대역폭 밀도 (TB/s급)
• 낮은 비트당 전력 소비
• 패키지 면적 대비 높은 용량
• GPU/ASIC과의 근거리 연결로 낮은 지연시간
• 온다이 ECC, ECS, DRFM 같은 고급 신뢰성 기능

단점

• 높은 제조 비용 (TSV, 인터포저 공정)
• 열 관리 어려움 (적층 구조)
• DIMM처럼 교체/확장 어려움
• 패키징 복잡도로 인한 수율 문제
• 높은 초기 설계 비용

관련 기술

• HBM 세대 비교 - HBM1~HBM4 세대별 특징 비교
• DDR 내부 구조 - DDR4/DDR5 뱅크/서브채널 구조
• GDDR 내부 구조 - GDDR6/6X/7 채널 분할 구조
• LPDDR 세대 비교 - 저전력 메모리의 채널/전력 구조 비교
• 메모리 설계 철학 - 메모리 기술 선택 기준과 설계 철학
• DRAM 리프레시 비교 - 리프레시 기법 분석
• GPU 메모리 아키텍처 기초 - GPU 메모리 시스템 개요
• JEDEC JESD235 (HBM1), JESD235A-D (HBM2), JESD238 (HBM3), JESD238A (HBM3E), JESD270-4 (HBM4)

참고 문헌

• JEDEC, "High Bandwidth Memory (HBM) Specification (JESD235)", 2013
• JEDEC, "HBM2 Specification (JESD235A-D)", 2016-2020
• JEDEC, "HBM3 Specification (JESD238)", 2022
• JEDEC, "HBM3E Specification (JESD238A)", 2023
• JEDEC, "HBM4 Specification (JESD270-4)", 2025
• Samsung Semiconductor, "HBM4 Product Page", 2025
• Samsung Semiconductor, "HBM Technology Overview", 2024
• Micron Technology, "HBM4 Product Page", 2025
• SK Hynix, "HBM3E Product Brief", 2024
• AMD/NVIDIA, GPU Memory Architecture White Papers

핵심 정리

HBM 내부 구조의 핵심은 TSV 기반 수직 적층과 실리콘 인터포저를 통한 고밀도 인터커넥트입니다. DDR이나 GDDR이 평면적 확장에 의존하는 것과 달리, HBM은 수직 차원을 활용해 대역폭 밀도를 극대화합니다. HBM3부터 온다이 ECC, ECS가 의무화되었고, HBM4는 DRFM으로 row-hammer 방어와 2048-bit 인터페이스로 성능을 한 단계 끌어올렸습니다. 적층 구조로 인한 열 관리와 제조 비용은 여전히 과제지만, AI/HPC 워크로드에서 HBM은 대체 불가능한 메모리 기술로 자리잡았습니다. 실제 시스템 성능은 메모리 다이 자체보다도 인터포저 설계, 전력 분배, 열 확산까지 포함한 패키지 수준 설계에 크게 좌우됩니다.