GDDR 내부 구조
GDDR(Graphics Double Data Rate)는 GPU와 AI 가속기에서 사용되는 고대역폭 그래픽 DRAM입니다. 같은 DRAM 셀 기술을 기반으로 하되, I/O signaling, prefetch, 채널 분할 구조를 세대마다 바꿔 외부 대역폭을 끌어올려 왔습니다. 이 문서에서는 GDDR6, GDDR6X, GDDR7의 내부 구조를 분석하고, 뱅크 조직, 채널 분할, PAM3 signaling 등 핵심 아키텍처를 설명합니다.
GDDR7은 JEDEC 표준 GDDR 중 처음으로 PAM3 signaling을 채택한 세대이며, 32-bit 칩을 4개의 8-bit 독립 채널로 분리해 병렬성을 크게 높였습니다. GDDR6X는 vendor extension인 PAM4를 사용한 과도기 세대이고, GDDR6는 전통적인 NRZ 기반 2채널 구조를 유지하고 있어서, 세대별 내부 구조 변화를 함께 보면 발전 흐름이 더 잘 보입니다.
핵심 개념
뱅크(Bank) 구조
GDDR은 GPU에 빠르게 데이터를 공급하는 데 맞춰져 있어, DDR보다 적은 용량에 높은 대역폭을 제공하는 것이 핵심입니다.
GDDR6 뱅크 구조:
- 32비트 칩, 2개의 16비트 독립 채널로 분리
- 각 채널당 8개의 뱅크 (총 16개)
- 뱅크 그룹 개념 없이 채널 수준에서 병렬 접근
- DDR3 기반 array, 16n prefetch
GDDR6X 뱅크 구조:
- GDDR6와 동일한 2채널 구조 유지
- I/O signaling만 NRZ에서 PAM4로 변경
- 채널당 8개 뱅크 (총 16개)
- PAM4로 심볼당 2비트 전송, 같은 심볼 속도에서 effective data rate 2배
GDDR7 뱅크 구조:
- 32비트 칩을 4개의 8비트 독립 채널로 분리
- 각 채널당 4개의 뱅크 (총 16개)
- DDR7 신규 array 기반, 32n prefetch
- 4채널 구조로 GPU 메모리 컨트롤러의 병렬 요청 분산 효과 극대화
채널 분할(Channel Splitting)
채널 분할은 GDDR이 DDR과 가장 크게 다른 내부 구조적 특징입니다. 32비트 칩을 더 작은 독립 채널로 나누면, 각 채널이 독립적으로 명령을 수신하고 데이터를 처리할 수 있어 병렬성이 크게 향상됩니다.
| 세대 | 칩 비트폭 | 채널 수 | 채널당 비트폭 | 채널당 뱅크 | prefetch |
|---|---|---|---|---|---|
| GDDR5 | 32-bit | 1 | 32-bit | 8 | 8n |
| GDDR6 | 32-bit | 2 | 16-bit | 8 | 16n |
| GDDR6X | 32-bit | 2 | 16-bit | 8 | 16n |
| GDDR7 | 32-bit | 4 | 8-bit | 4 | 32n |
GDDR6가 2채널로 나눈 이유는 32비트 전체를 한 번에 스케줄링하기보다 16비트 단위로 독립 명령을 처리해 버스 활용률을 높이기 위해서입니다. GDDR7은 이 개념을 4채널까지 확장해, GPU 메모리 컨트롤러가 8비트 단위로 세밀한 요청 분배를 할 수 있게 했습니다.
Prefetch 버퍼
prefetch는 내부 array에서 한 번에 끌어올린 데이터를 I/O로 몇 배수만큼 내보낼지 정합니다.
| 세대 | prefetch | 버스트 길이 | 최소 접근 크기 (32-bit 칩) |
|---|---|---|---|
| GDDR5 | 8n | 8 | 32B |
| GDDR6 | 16n | 16 | 64B (채널당 32B) |
| GDDR6X | 16n | 16 | 64B (채널당 32B) |
| GDDR7 | 32n | 32 | 128B (채널당 32B) |
GDDR7이 32n prefetch를 채택한 이유는 내부 array 코어 클럭을 과도하게 높이지 않으면서 외부 I/O 전송률을 끌어올리기 위해서입니다. 채널이 4개로 늘어나면서 각 채널의 실제 접근 크기는 32B로 유지되지만, prefetch 버퍼가 커지면 한 번의 array 접근으로 더 많은 데이터를 확보할 수 있어 대역폭 효율이 높아집니다.
비교/분석
신호 방식 비교
GDDR의 신호 방식은 세대마다 큰 변화가 있었습니다.
NRZ(Non-Return-to-Zero):
- 2개 전압 레벨 사용 (0, 1)
- 심볼당 1비트 전송
- GDDR1~GDDR6까지 기본 방식
- 구조가 단순하고 검증이 쉬움
PAM4(Pulse Amplitude Modulation 4-level):
- 4개 전압 레벨 사용 (-3, -1, +1, +3)
- 심볼당 2비트 전송
- GDDR6X vendor extension으로 적용
- NRZ 대비 클럭 동일에서 data rate 2배
- Eye margin 감소로 신호 무결성 관리 부담 증가
PAM3(Pulse Amplitude Modulation 3-level):
- 3개 전압 레벨 사용 (-1, 0, +1)
- 2클럭에서 3비트 전송 (1.5비트/UI)
- GDDR7 JEDEC 표준으로 최초 채택
- PAM4보다 Eye margin 넓어 신호 안정성 확보
- PAM4 대비 제조 비용 절감
| 방식 | 전압 레벨 | 심볼당 비트 | 상대 효율 | 적용 세대 |
|---|---|---|---|---|
| NRZ | 2 | 1 | 1x | GDDR1~GDDR6 |
| PAM4 | 4 | 2 | 2x | GDDR6X |
| PAM3 | 3 | 1.5 | 1.5x | GDDR7 |
PAM3는 NRZ보다 50% 높은 심볼 효율을 제공하면서도, PAM4보다 Eye margin이 넓어 신호 무결성 면에서 유리합니다. 그래서 GDDR7은 PAM3를 선택해 심볼 효율과 신호 안정성의 균형을 맞췄습니다.
대역폭 계산
GDDR 칩의 이론적 최대 대역폭은 다음 공식으로 계산합니다.
대역폭 (GB/s) = (칩 비트폭 / 8) × data rate (Gbps/pin)
GDDR6 예시 (16 Gbps/pin):
- 32-bit 칩 → 4B
- 4B × 16 Gbps = 64 GB/s
GDDR6X 예시 (21 Gbps/pin):
- 32-bit 칩 → 4B
- 4B × 21 Gbps = 84 GB/s
GDDR7 예시 (32 Gbps/pin):
- 32-bit 칩 → 4B
- 4B × 32 Gbps = 128 GB/s
GDDR7 예시 (최대 48 Gbps/pin):
- 32-bit 칩 → 4B
- 4B × 48 Gbps = 192 GB/s
실제 GPU는 이런 칩을 여러 개 병렬 배치해 256-bit, 384-bit, 512-bit 같은 넓은 메모리 버스를 구성합니다. 예를 들어 16개의 GDDR7 칩(각 32-bit)으로 512-bit 버스를 구성하면, 32 Gbps/pin 기준으로 512 GB/s의 총 대역폭을 달성합니다.
온다이 ECC(On-die ECC)
GDDR7부터 온다이 ECC가 의무화되었습니다.
GDDR6/6X:
- 온다이 ECC 없음
- 외부 ECC 없이 사용 (GPU 메모리 컨트롤러가 별도 관리)
- 칩 수율 향상에는 기여하나 데이터 보호 기능 없음
GDDR7:
- 칩 내부에서 오류 검출/수정
- ECS(Error Checking and Scrubbing) 지원
- data poison 기능으로 오류 전파 방지
- 고밀도 칩(32Gb~64Gb) 구현에서 수율 향상에 기여
GDDR7의 온다이 ECC는 DDR5의 ODECC와 달리 단순히 수율 향상용이 아니라, AI/compute 워크로드에서 데이터 안정성까지 고려한 설계입니다. ECS 기능은 오류를 주기적으로 검출하고 scrubbing으로 수정해 누적 오류를 줄입니다.
전력 관리
| 세대 | 공급 전압 (VDD) | I/O 전압 (VDDQ) | 특징 |
|---|---|---|---|
| GDDR5 | 1.5V | 1.5V | 기본 전원 관리 |
| GDDR6 | 1.35V | 1.35V | 전력 효율 개선 |
| GDDR6X | 1.35V | 1.35V | PAM4로 동일 클럭에서 2배 대역폭 |
| GDDR7 | 1.2V (1.1V 옵션) | 1.2V | PAM3 + 저전압으로 전력 효율 30% 향상 |
GDDR7은 1.2V 동작으로 GDDR6 대비 전력 효율을 최대 30% 개선했습니다. PAM3 signaling은 같은 대역폭을 달성하면서도 NRZ보다 낮은 클럭 주파수에서 동작할 수 있어, 신호 회로의 동적 전력 소비를 줄이는 데 기여합니다.
동작 원리
읽기/쓰기 흐름
GDDR의 기본 동작 흐름은 DDR과 유사하지만, 채널 분할과 prefetch 크기 차이가 있습니다.
- 행 활성화(Activate): GPU 컨트롤러가 특정 채널의 뱅크에 대해 ACT 명령을 발행하고, 해당 행의 데이터를 감 증폭기로 복사
- 읽기(Read): 열 주소로 해당 채널의 prefetch 버퍼에 데이터를 로드하고, high-speed I/O lane으로 출력
- 쓰기(Write): GPU에서 데이터를 전달하면 해당 채널의 prefetch 버퍼를 거쳐 셀에 기록
- 프리차지(Precharge): 행 닫기 및 다음 접근 준비
GDDR7은 4개의 독립 채널이 각각 독립된 명령 큐를 가지고 있으므로, 한 채널에서 읽기가 진행되는 동안 다른 채널에서 쓰기나 활성화가 동시에 가능합니다. 이것이 GDDR이 DDR보다 높은 실질 대역폭 효율을 제공하는 핵심 메커니즘입니다.
명령 인코딩
GDDR7은 DDR5와 유사한 CA(Command/Address) 버스 방식을 사용합니다.
GDDR6 명령 구조:
- RAS, CAS, WE 신호 조합
- 2클릭 명령 (액티베이트, 읽기, 쓰기)
- 별도 WCK(Write Clock)으로 고속 데이터 전송
GDDR7 명령 구조:
- CA 버스 기반 명령 인코딩
- CA parity(CAPARBLK)로 명령 무결성 검증
- 1클릭 명령: 프리차지, 리프레시
- 2클릭 명령: 액티베이트, 읽기, 쓰기
- WCK = 2× CK (GDDR5 이후 유지)
타이밍 파라미터
GDDR의 타이밍은 DDR보다 더 빠르지만, 채널 분할로 인해 실질 접근 지연은 관리 가능한 수준입니다.
| 파라미터 | GDDR6 (16 Gbps) | GDDR7 (32 Gbps) |
|---|---|---|
| tRCD (RAS-to-CAS) | ~13ns | ~12ns |
| tRP (Precharge) | ~13ns | ~12ns |
| tRAS (Active) | ~30ns | ~28ns |
| tRC (Row Cycle) | ~43ns | ~40ns |
| tCAS (CAS Latency) | ~13ns | ~11ns |
GDDR7은 새 array 구조와 향상된 감 증폭기로 기본 타이밍을 약간 개선했습니다. 그러나 실질 성능 향상의 주된 기여 요소는 타이밍 파라미터보다 PAM3 signaling과 4채널 병렬 구조입니다.
장단점
장점
- GDDR7의 4채널 구조는 8비트 단위로 세밀한 요청 분배가 가능해, GPU 메모리 컨트롤러가 다양한 크기의 요청을 효율적으로 스케줄링할 수 있습니다.
- PAM3 signaling은 NRZ보다 50% 높은 심볼 효율을 제공하면서 PAM4보다 넓은 Eye margin으로 신호 안정성을 확보했습니다.
- 온다이 ECC와 ECS 기능은 고밀도 칩에서 수율과 데이터 안정성을 동시에 향상시킵니다.
- 1.2V 저전압 동작과 PAM3 조합으로 전력 효율을 최대 30% 개선했습니다.
- GDDR7 칩당 최대 192 GB/s 대역폭은 HBM 대비 구현 비용과 설계 유연성에서 여전히 강점을 가집니다.
단점
- PAM3 signaling은 NRZ보다 복잡한 송수신 회로가 필요해 칩 면적과 설계 비용이 증가합니다.
- 4채널 구조는 GPU 메모리 컨트롤러의 스케줄링 복잡도를 높여, 컨트롤러 설계 부담이 커집니다.
- 고속 GDDR7은 신호 무결성, 임피던스, 타이밍 튜닝 부담이 DDR보다 훨씬 큽니다.
- HBM보다 비트당 대역폭 밀도는 낮아 최고급 가속기에서는 여전히 불리할 수 있습니다.
- 라우팅과 전원 설계 실패가 곧 성능 저하로 이어지므로, 보드 수준 설계 품질이 성능에 직접 영향을 미칩니다.
관련 기술
- GDDR 세대 비교 - GDDR1~GDDR7 세대별 특징 비교
- DDR 내부 구조 - DDR4/DDR5 뱅크/서브채널 구조
- HBM 세대 비교 - HBM TSV/스택 구조와 대역폭 비교
- LPDDR 세대 비교 - 저전력 메모리의 채널/전력 구조 비교
- 메모리 설계 철학 - 메모리 기술 선택 기준과 설계 철학
- Samsung Semiconductor GDDR7: https://semiconductor.samsung.com/dram/gddr/gddr7/
- JEDEC JESD239 (GDDR7 SDRAM Standard), March 2024
참고 문헌
- JEDEC, "GDDR7 SDRAM Specification (JESD239)", 2024
- JEDEC, "GDDR6 SDRAM Specification (JESD250D)", 2022
- JEDEC, "GDDR5 SDRAM Specification (JESD212)", 2014
- Samsung Semiconductor, "GDDR7: Next-Generation Graphics Memory", 2024
- Samsung Semiconductor, "GDDR7 Product Overview", 2024
- Micron Technology, "GDDR7 Memory Technology", 2024
- Tom's Hardware, "GDDR7 Arrives: Samsung Outs World's First Chip, 32 GT/s", 2023
- JEDEC, "JEDEC Publishes GDDR7 Graphics Memory Standard", 2024
핵심 정리
GDDR 내부 구조의 핵심은 DDR과 달리 32비트 칩을 독립 채널로 분리해 병렬성을 극대화하는 데 있습니다. GDDR6은 2개의 16비트 채널로 시작했고, GDDR7은 4개의 8비트 채널로 확장해 GPU 컨트롤러의 세밀한 요청 분배를 가능케 했습니다. GDDR7은 PAM3 signaling을 통해 심볼 효율과 신호 안정성의 균형을 맞추고, 온다이 ECC와 1.2V 저전력 설계로 데이터 안정성과 전력 효율을 동시에 개선했습니다. 이러한 구조적 변화는 HBM 대비 구현 비용과 유연성에서 강점을 유지하면서도, AI/그래픽 워크로드에 필요한 고대역폭을 제공하는 데 기여합니다.