title: NMP 아키텍처
date: 2025-06-30
category: system
tags: [NMP, Near-Memory Processing, DIMM-based NMP, CXL NMP, Data-Centric Computing, PNM, HBM-PIM, MRDIMM, CXL Memory Pooling, 메모리 중심 컴퓨팅]

NMP 아키텍처

개요

NMP(Near-Memory Processing)는 메모리 컨트롤러 근처 또는 3D 적층 메모리의 로직 레이어에 연산 유닛을 배치하여 데이터 이동 병목을 완화하는 컴퓨팅 아키텍처이다. PIM(Processing-In-Memory)이 메모리 셀 자체를 연산에 활용하는 반면, NMP는 별도의 연산 유닛을 메모리 근처에 두어 범용 연산 지원과 프로그래밍 용이성을 동시에 추구한다. 현대 AI/ML 워크로드의 급증으로 인해 CPU-메모리 간 데이터 이동 비용이 지배적인 워크로드에서 NMP의 중요성이 부각되고 있다.

데이터 중심 컴퓨팅(Data-Centric Computing) 패러다임으로의 전환은 프로세서 중심 구조의 한계를 극복하기 위한 노력에서 출발한다. 전통적인 von Neumann 구조에서는 CPU가 매 명령마다 메모리에서 데이터를 가져와 처리하고 다시 저장하는 과정을 반복하며, 이 과정에서 발생하는 에너지 소비와 지연 시간이 전체 시스템 성능의 병목이 된다. NMP는 이 문제를 물리적으로 해결하기 위해 메모리와 연산의 거리를 최소화하며, DIMM 기반, CXL 기반, HBM-PIM 등 다양한 구현 방식을 통해 실용화되고 있다.

핵심 개념

데이터 중심 컴퓨팅 패러다임

프로세서 중심(Processor-Centric) 컴퓨팅에서 데이터 중심(Data-Centric) 컴퓨팅으로의 전환은 컴퓨터 아키텍처의 근본적인 변화를 의미한다:

NMP는 이러한 데이터 중심 패러다임의 핵심 구현 기술로, von Neumann 병목현상을 물리적으로 완화한다.

NMP 분류 체계

NMP는 구현 위치와 인터커넥트 방식에 따라 세 가지 주요 카테고리로 분류된다:

DIMM 기반 NMP

DIMM 기반 NMP는 기존 DDR5 DIMM 폼팩터와 호환되는 연산 유닛을 통합하여, 서버 교체 비용 없이 NMP 기능을 추가하는 방식이다. DIMM 모듈의 버퍼/레지스터 칩에 연산 로직을 결합하며, 기존 DDR5 슬롯에 그대로 장착 가능하다.

DDR5 DIMM 인터페이스 특징:
- Dual 32-bit sub-channel 아키텍처로 64비트 데이터 버스 제공
- 최대 8,000 Mbps 전송 속도 (DDR5 RDIMM)
- On-die ECC로 신호 무결성 향상
- TSV(Through-Silicon Via) 기반 스택킹 지원

DIMM 기반 NMP 동작 원리:
1. CPU가 DIMM에 연산 명령을 DDR 인터페이스를 통해 전달
2. DIMM 내부 연산 유닛이 로컬 메모리 어레이에서 데이터 직접 접근
3. 연산 수행 후 결과를 메모리에 저장하거나 CPU에 반환
4. 기존 DDR 프로토콜과의 호환성을 통해 소프트웨어 수정 최소화

CXL 기반 NMP

CXL(Compute Express Link) 기반 NMP는 PCIe 기반 고속 시리얼 인터커넥트를 활용하여 메모리 풀링과 근처 연산을 구현한다. CXL 프로토콜은 메모리 일관성을 보장하면서 여러 호스트가 하나의 메모리 리소스를 공유할 수 있게 한다.

CXL 프로토콜 세트:

CXL 디바이스 타입:
- Type 1: CXL.io + CXL.cache — 로컬 메모리 없는 가속기
- Type 2: CXL.io + CXL.cache + CXL.mem — GDDR/HBM 로컬 메모리 보유 가속기
- Type 3: CXL.io + CXL.mem — 메모리 확장 보드, 지속성 메모리

CXL 버전별 대역폭:

CXL 메모리 풀링:
CXL 2.0 이상에서 여러 호스트가 하나의 메모리 디바이스를 공유할 수 있다. 가상 계층 구조를 통해 유연한 메모리 관리가 가능하며, 메모리 리소스의 동적 할당과 재구성이 지원된다. 이는 서버 간 메모리 불균형을 완화하고 자원 활용도를 높이는 핵심 기능이다.

HBM-PIM 구현

HBM(High Bandwidth Memory)은 3D 적층 기술을 통해 초고대역폭 메모리를 제공하며, 로직 레이어에 연산 유닛을 통합하여 NMP를 구현한다.

HBM4 스펙 (JEDEC 2025년 4월 공식 발표):

HBM-PIM은 이 로직 레이어에 AI 엔진을 통합하여, 데이터가 스택 내부에서 직접 연산을 수행할 수 있게 한다. Samsung HBM-PIM은 시스템 성능 2배 향상과 에너지 소비 70% 이상 절감을 달성했다.

비교/분석

NMP 구현 방식 비교

NMP vs 기존 아키텍처 비교

주요 벤더/제품 비교

동작 원리

DIMM 기반 NMP 동작 흐름

1. CPU 요청: CPU가 DIMM의 연산 유닛에 명령을 DDR 인터페이스를 통해 전달
2. 명령 디코딩: DIMM 내부 연산 유닛이 명령을 디코딩하고 대상 메모리 주소 결정
3. 로컬 데이터 접근: 연산 유닛이 같은 DIMM 내부의 메모리 어레이에서 데이터 직접 읽기
4. 병렬 연산: SIMD 또는 벡터 연산을 통해 데이터 병렬 처리
5. 결과 저장: 연산 결과를 로컬 메모리에 저장하거나 CPU에 반환

CXL 기반 NMP 동작 흐름

1. CXL 링크 초기화: CXL.io 프로토콜을 통해 호스트와 CXL 디바이스 간 링크 설정
2. 메모리 매핑: CXL.mem 프로토콜을 통해 호스트가 CXL 메모리를 주소 공간에 매핑
3. 연산 오프로드: 호스트가 CXL 디바이스의 연산 유닛에 작업을 오프로드
4. 캐시 일관성 유지: CXL.cache 프로토콜을 통해 호스트 CPU 캐시와 디바이스 간 일관성 유지
5. 메모리 풀링: 여러 호스트가 CXL 메모리를 공유하여 유연한 리소스 관리

HBM-PIM 동작 흐름

1. 모델 배치: CPU가 AI 모델 파라미터를 HBM 스택의 여러 뱅크에 분산 배치
2. 입력 전달: 입력 데이터를 HBM 로직 레이어의 PIM 유닛에 전달
3. 병렬 연산: 각 뱅크의 PIM 유닛이 로컬 가중치와 입력 데이터의 곱셈을 병렬 수행
4. 결과 집계: 여러 뱅크의 연산 결과를 합산하여 최종 출력 생성
5. 반복 처리: 딥러닝 네트워크의 경우 층별로 위 과정을 반복

장단점

관련 기술

• PIM/NMP 아키텍처 개요: PIM 기본 아키텍처와 분류 체계
• PIM 응용: DNN/그래프/유전체 응용에서의 PIM 활용
• Memory Hierarchy: 메모리 계층 구조와 NMP의 위치
• Memory Controller: 메모리 컨트롤러와 NMP 통합
• NUMA Architecture: NUMA 구조와 메모리 배치
• Memory Interconnect: 메모리 인터커넥트와 NMP 통신
• CXL Version Comparison: CXL 버전별 기능 비교
• HBM Generation Comparison: HBM 세대별 스펙 비교
• Samsung CMM-D: CXL 기반 메모리 풀링 솔루션
• XCENA MX1: CXL Computational Memory Device (Hot Chips 2026)
• UPMEM PIM-DRAM: DIMM 기반 범용 PIM 제품
• CXL Consortium 스펙: CXL 1.0~4.0 표준
• JEDEC HBM4 스펙: HBM4 공식 사양 (2025년 4월)
• Ghose et al., IBM JRD 2019: PIM 워크로드 적합성 분석 survey

핵심 정리

NMP는 데이터 중심 컴퓨팅 패러다임의 핵심 구현 기술로, 메모리 근처에 연산 유닛을 배치하여 von Neumann 병목현상을 완화한다. DIMM 기반 NMP는 기존 DDR5 인프라와 호환되어 도입 비용을 절감하고, CXL 기반 NMP는 메모리 풀링을 통해 리소스 유연성을 제공하며, HBM-PIM은 초고대역폭으로 AI 추론/학습에 최적화된다. Samsung, SK Hynix, UPMEM 등의 벤더가 다양한 구현 방식을 출시하고 있으며, CXL 프로토콜의 발전과 함께 메모리 풀링 기능이 강화되고 있다. NMP는 프로그래밍 모델의 복잡성과 생태계 미성숙이라는 과제가 남아있지만, AI 워크로드의 대역폭 수요 증가와 함께 현대 컴퓨팅 시스템의 핵심 구성 요소로 자리매김하고 있다.