칩렛 GPU

개요 (Overview)

칩렛 GPU는 단일 다이(monolithic die)에 모든 기능을 집적하는 대신, 연산·메모리·I/O 같은 기능을 독립적인 칩렛(chiplet)으로 분리하고 패키지 내에서 결합하는 GPU 설계 방식입니다. 기존 monolithic GPU는 다이 크기가 커질수록 수율이 떨어지고 제조 비용이 급격히 증가하는 반면, 칩렛 방식은 각각의 작은 다이를 개별적으로 제조하여 수율을 높이고 비용을 절감할 수 있습니다.

현대 AI·HPC 워크로드의 폭발적인 성장으로 단일 GPU의 메모리 대역폭과 연산 능력이 병목에 봉착하면서, AMD와 NVIDIA 모두 패키지 수준의 분할 설계를 적극 도입하고 있습니다. AMD는 RDNA 3에서 Graphics Compute Die(GCD)와 Memory Cache Die(MCD)를 분리한 MCM(Multi-Chip Module) 구조를 상용화했고, CDNA 3의 MI300 계열에서는 여러 연산 다이와 HBM을 하나의 패키지 안에 통합했습니다. NVIDIA는 Hopper까지는 단일 대형 다이와 HBM을 CoWoS로 묶는 구성이 주류였지만, Grace-Blackwell 계열에서는 NVLink-C2C를 통해 CPU와 GPU를 칩 단위로 결합하는 방향을 분명히 했습니다. Intel은 Ponte Vecchio에서 다수의 타일을 Co-EMIB와 Foveros로 결합하는 가장 공격적인 칩렛 전략을 채택했습니다.

핵심 개념

칩렛(Chiplet)과 MCM(Multi-Chip Module)

칩렛은 잘 정의된 기능을 가진 소형 집적 회로로, 여러 칩렛을 하나의 패키지 안에서 결합하여 복잡한 시스템을 구현합니다. MCM은 여러 다이를 하나의 서브스트레이트 위에 결합한 전자 조립체로, 칩렛 간 통신을 위해 인터포저(interposer) 또는 기판을 사용합니다.

칩렛 방식의 핵심 장점은 이질적 통합(heterogeneous integration)입니다. 각 칩렛은 서로 다른 공정 노드·소재·최적화를 적용할 수 있어, 연산 로직은 5nm, 메모리 캐시는 7nm, I/O는 12nm 같은 구성이 가능합니다. 또한 각 칩렛은 조립 전에 Known Good Die(KGD) 테스트를 거쳐 최종 제품의 수율을 크게 향상시킵니다.

2.5D 인터포저 통합

2.5D 패키징은 여러 다이를 실리콘 인터포저(silicon interposer) 위에 나란히 배치하는 방식입니다. 인터포저는 Through-Silicon Via(TSV)와 미크로 버프(micro-bump)를 통해 칩렛 간 고대역폭·저지연 연결을 제공합니다. 기존 2D PCB 방식 대비 훨씬 짧고 촘촘한 연결이 가능하여, 칩렛 간 통신 대역폭이 크게 향상됩니다.

TSMC의 CoWoS(Chip-on-Wafer-on-Substrate)는 대표적인 2.5D 인터포저 기술로, NVIDIA H100, AMD MI300X 등 고성능 AI 가속기에 광범위하게 사용됩니다. Intel의 EMIB(Embedded Multi-die Interconnect Bridge)는 실리콘 브릿지를 기판에 매립하여 칩렛을 연결하는 변형 2.5D 방식으로, 전체 실리콘 인터포저 없이도 고밀도 연결을 달성합니다.

3D 적층(3D Stacking)

3D 적층은 다이를 수직으로 쌓아 TSV로 연결하는 방식으로, 2.5D 대비 더 짧은 연결과 더 넓은 대역폭을 제공하지만 열 관리가 중요한 과제입니다. AMD의 3D V-Cache는 L3 캐시 다이를 CPU 다이 위에 적층하여 캐시 용량을 대폭 확장하는 상용 사례입니다.

GPU에서의 3D 적층은 아직 초기 단계이지만, HBM(High Bandwidth Memory)이 대표적인 3D 적층 상용 제품입니다. HBM은 여러 DRAM 다이를 TSV로 수직 적층하고 로직 다이와 결합하여, 넓은 버스 폭과 높은 대역폭을 달성합니다. 향후 GPU 코어와 캐시를 3D로 적층하거나, 포토닉 인터커넥트를 결합한 3D 패키징도 연구되고 있습니다.

칩렛 간 인터커넥트 표준

칩렛 간 통신을 위해 여러 표준이 개발되었습니다. UCIe(Universal Chiplet Interconnect Express)는 PCIe/CXL 소프트웨어 스택을 패키지 내부 다이 간 연결로 확장하려는 범용 표준으로, 멀티벤더 칩렛 생태계를 염두에 둡니다. BoW(Bunch of Wires)는 OCP에서 개발한 비교적 단순한 칩렛 인터커넥트이고, AIB(Advanced Interface Bus)는 Intel이 공개한 다이 간 버스입니다.

NVIDIA는 독자적인 NVLink-C2C(Chip-to-Chip)를 사용하여 CPU-GPU 간 또는 칩 간 coherent 연결을 구현합니다. AMD는 패키지 내부 칩 간 연결에 Infinity Fabric을 사용해 GCD·MCD·HBM 사이의 데이터 이동을 조율하고, Apple의 M-series 칩도 유사한 패키지 내부 고대역폭 패브릭을 사용하여 CPU·GPU·Unified Memory를 하나의 패키지 안에서 결합합니다.

비교/분석

패키징 방식 비교

주요 칩렛 GPU 상품 분석

AMD 칩렛 GPU 아키텍처 상세

AMD의 RDNA 3 아키텍처(Radeon RX 7000 시리즈)는 최초로 데스크톱 GPU에 MCM 방식을 도입한 제품입니다. 하나의 Graphics Compute Die(GCD)와 최대 6개의 Memory Cache Die(MCD)로 구성되며, GCD는 5nm TSMC N5 공정으로 제조되고 MCD는 6nm TSMC N6 공정으로 제조됩니다.

CDNA 2 아키텍처(Instinct MI200 시리즈)부터는 복수의 GCD를 하나의 패키지에 결합하는 구조를 사용했고, CDNA 3(MI300X)에서는 8개의 XCD(연산 다이)와 192GB의 HBM3를 대형 패키지 안에 통합했습니다. 이 세대는 단순히 캐시 다이를 붙이는 수준을 넘어, 여러 연산 타일과 대용량 메모리를 패키지 내부 패브릭으로 묶는 방향으로 진화했습니다.

RDNA 3의 MCD는 메모리 컨트롤러와 Infinity Cache를 포함하며, 각 MCD는 GCD와 패키지 내부 링크로 연결됩니다. MI300X 계열은 이보다 더 적극적으로 패키지 자원을 분산해, 단일 monolithic 다이보다 훨씬 큰 메모리 용량과 대역폭을 확보하는 대신 패키지 설계와 다이 간 데이터 이동 최적화가 핵심 과제가 됩니다.

동작 원리

칩렛 분할 전략

GPU를 칩렛으로 분할하는 핵심 고려사항은 분할 경계에서의 통신 오버헤드입니다. 칩렛 간 통신은 온칩(on-die) 연결보다 더 높은 지연과 더 많은 에너지를 소모하므로, 가능한 한 통신량이 많은 기능은 같은 칩렛 안에 배치하는 것이 중요합니다.

GPU의 일반적인 분할 전략은 다음과 같습니다:
- 연산 칩렛(GCD/Compute Tile): 셰이더 코어, 메모리 컨트롤러 인터페이스, 공유 캐시를 포함
- 메모리 칩렛(MCD/Memory Cache Die): HBM 인터페이스, L3 캐시, 메모리 컨트롤러를 포함
- I/O 칩렛(I/O Die): PCIe, NVLink 같은 외부 인터페이스를 포함
- 캐시 전용 칩렛: 3D 적층을 통해 프로세서 위에 캐시를 올리는 방식

분할 이후에는 패키지 내부 패브릭이 사실상의 백본 역할을 합니다. AMD는 Infinity Fabric으로 GCD-MCD-HBM 사이 트래픽을 중재하고, NVIDIA는 NVLink-C2C로 CPU-GPU 혹은 칩 간 coherent 접근을 제공해 공유 메모리 모델과 동기화 비용을 낮춥니다. 따라서 칩렛 GPU의 성능은 개별 다이 성능뿐 아니라 패키지 내부 링크의 대역폭, 지연 시간, coherence 정책에 크게 좌우됩니다.

인터포저 기반 연결

2.5D 인터포저는 칩렛 간 연결을 위해 여러 레이어의 금속 배선과 TSV를 사용합니다. TSV는 실리콘 기판을 수직으로 뚫고 구리로 채운 연결통으로, 칩렛에서 인터포저로, 인터포저에서 기판으로 신호를 전달합니다.

인터포저의 미크로 버프 피치는 기존 솔더 버프보다 훨씬 작아(50μm 이하), 더 많은 연결 채널을 배치할 수 있습니다. 이를 통해 칩렛 간 대역폭 밀도(bandwidth density)가 크게 향상되어, 수 TB/s 수준의 칩렛 간 통신이 가능합니다.

열 관리

칩렛 방식은 monolithic 대비 열 관리에서 장점이 있습니다. 여러 다이에 열원이 분산되어 단일 핫스팟의 열 부하가 줄어들기 때문입니다. 그러나 3D 적층의 경우 위쪽 다이의 열이 아래쪽 다이를 거쳐 방출되어야 하므로, TSV를 통한 열 전도 경로와 열 재료의 선택이 중요합니다.

HBM은 DRAM 다이 사이에 열 간격재(thermal interface material)를 사용하고, 로직 다이의 열을 방열판으로 전도하는 구조입니다. GPU와 HBM이 결합된 패키지에서는 인터포저를 통한 열 전달과 패키지 상단의 방열판이 핵심적인 열 관리 경로입니다.

장단점

장점

• 수율 향상: 작은 다이를 개별 제조하여 각각의 수율을 높이고, KGD 테스트로 불량 다이를 사전에 차단
• 비용 절감: 대형 다이의 레티클 크기 제한을 극복하고, 이질적 공정 최적화로 제조 원가 절감
• 유연한 확장: 칩렛 수를 조절하여 동일 아키텍처로 다양한 성능·가격대 제품 라인업 구성 가능
• 이질적 통합: 각 칩렛에 최적의 공정·소재를 적용하여 전체 시스템 효율 극대화
• 재사용성: 동일 칩렛을 여러 제품에 걸쳐 재사용하여 설계 비용 절감
• 열 분산: 여러 다이에 열원이 분산되어 단일 핫스팟 부하 감소

단점

• 칩렛 간 통신 오버헤드: 온치 연결 대비 높은 지연·전력·대역폭 제한
• 패키징 복잡성: 인터포저·미크로 버프·언더필 등 고가의 패키징 기술 필요
• 소프트웨어 지원: OS·드라이버·API가 칩렛 구성에 대한 인식과 최적화를 필요로 함
• 검증 복잡성: 여러 다이의 동작 호환성과 시스템 레벨 통합 검증이 어려움
• 열 관리 한계: 3D 적층 시 위쪽 다이의 열 방출 경로 제한
• 생태계 의존: 고급 패키징(TSMC CoWoS 등)의 생산 능력에 공급이 제한됨

관련 기술 / 참고 문헌

핵심 정리

칩렛 GPU는 단일 다이의 수율·비용·크기 한계를 극복하기 위해 기능별로 분리된 칩렛을 패키지 안에서 결합하는 아키텍처입니다. AMD는 RDNA 3과 CDNA 3에서 GCD/MCD 또는 XCD 기반 분할 방식을 상용화했고, Intel은 Ponte Vecchio에서 47개 컴포넌트의 이질적 통합을 구현했으며, NVIDIA는 NVLink-C2C와 Grace-Blackwell 슈퍼칩으로 칩 간 결합 전략을 강화하고 있습니다.

핵심 기술은 2.5D 인터포저(TSMC CoWoS, Intel EMIB), 칩렛 간 인터커넥트(UCIe, NVLink-C2C), 그리고 3D 적층(TSV, HBM)입니다. 칩렛 방식은 수율·비용·유연성에서 장점이 있으나, 칩렛 간 통신 오버헤드와 패키징 복잡성이라는 과제가 있습니다. 향후 UCIe 같은 범용 표준의 확립과 패키징 기술의 발전으로, 칩렛 기반 GPU는 더 넓은 시장으로 확산될 것으로 전망됩니다.