🧠 Accelerator

NPU 상세

개요

NPU(Neural Processing Unit)는 모바일, 엣지, 임베디드 기기에서 추론(Inference) 워크로드를 가속화하도록 설계된 전용 프로세서이다. GPU가 범용 병렬 처리 능력으로 AI 훈련/추론의 주력 플랫폼으로 자리잡고, TPU가 클라우드 대규모 훈련에 특화된 반면, NPU는 1W 미만의 초저전력으로 수십 TOPS(Tera Operations Per Second)의 추론 성능을 달성하여 엣지 기기에서 즉시 사용 가능한 AI 추론을 가능하게 한다.

NPU는 SoC(System-on-Chip) 내부에 CPU, GPU와 함께 통합되어 동작하며, 사전 훈련된 모델의 순방향 전파(Forward Pass)를 하드웨어 수준에서 직접 수행한다. Apple Neural Engine, Qualcomm Hexagon, Samsung Exynos NPU, MediaTek APU 등 주요 모바일 칩 제조사들이 자체 NPU를 설계하고 있으며, 2024년 기준 최신 모바일 SoC는 대체로 수십 TOPS급까지 확장되었다. NPU의 핵심 목표는 에너지 효율(TOPS/W)을 극대화하는 것이며, 이를 위해 고정된 데이터 타입(INT8, INT4)과 메모리 효율적인 가중치 압축 기법을 활용한다.

한편 NPU라는 이름은 모바일 SoC 내부 추론 엔진부터 데이터센터용 AI 가속 블록까지 폭넓게 사용된다. 따라서 같은 "NPU"라도 전력 예산, 메모리 구성, 프로그래밍 모델, 목표 워크로드가 크게 다를 수 있으며, 모바일 NPU와 서버형 AI 프로세서는 절대 성능보다 설계 목표와 전력 효율 관점에서 비교하는 편이 정확하다.

핵심 개념

NPU 아키텍처 분류

NPU는 설계 철학에 따라 세 가지 주요 카테고리로 분류된다:

분류	설명	대표 제품	특징
고정 기능형	특정 신경망 구조에 최적화	Apple Neural Engine (초기)	높은 효율, 낮은 유연성
프로그래밍 가능형	다양한 모델 구조 지원	Qualcomm Hexagon HTA	중간 효율, 높은 유연성
하이브리드형	고정 MAC 배열 + 프로그래밍 가능한 활성화	최신 NPU 대부분	균형 잡힌 효율과 유연성

MAC 배열 아키텍처

NPU의 핵심 연산 유닛은 MAC(Multiply-Accumulate) 배열이다. GPU의 Tensor Core가 16×16 블록 단위로 행렬 곱셈을 수행하는 것과 달리, NPU의 MAC 배열은 크기와 구조가 제조사마다 다르게 설계된다.

주요 NPU MAC 배열 비교:

제조사	NPU	MAC 배열 크기	정밀도	특징
Apple	Neural Engine (M4)	16코어 병렬	INT8/INT16	16개 독립 코어
Qualcomm	Hexagon Gen 4	4K MAC	INT8/INT4	HVX + HTA 하이브리드
Samsung	Exynos 2500 NPU	32K MAC	INT8/INT16	트리플 NPU + DSP
MediaTek	Dimensity 9400 APU	2K MAC	INT8/INT4/FP16	프로그래밍 가능한 MAC
Huawei	Ascend Da Vinci	4K×4K Cube	INT8/FP16	3D Cube + Vector

데이터플로우 패턴

NPU는 데이터가 MAC 배열을 통과하는 방식에 따라 세 가지 주요 데이터플로우 패턴을 사용한다:

1. 가중치 고정(Weight Stationary)
- 가중치가 MAC 배열에 고정되고, 입력 데이터가 순차적으로 흐름
- 가중치 로드 오버헤드 최소화
- Apple Neural Engine, Samsung Exynos NPU 채택

2. 출력 고정(Output Stationary)
- 출력이 MAC 배열에 고정되고, 가중치와 입력이 순환
- 누산 메모리 접근 최소화
- 일부 NPU의 컨볼루션 연산에 사용

3. 행 고정(Row Stationary)
- 입력과 가중치가 동시에 부분적으로 고정
- 메모리 접근 패턴 최적화
- 고급 NPU에서 채택되는 데이터플로우

양자화 지원

NPU는 낮은 전력으로 높은 성능을 달성하기 위해 양자화(Quantization)를 핵심 기술로 활용한다:

정밀도	비트 수	특징	적용 사례
FP32	32비트	단정밀도 부동소수점	GPU/TPU 훈련
FP16	16비트	절반 정밀도	GPU 추론, 일부 NPU
BF16	16비트	브레인 부동소수점	TPU, 최신 GPU
INT8	8비트	정수 양자화	NPU 표준
INT4	4비트	4비트 양자화	최신 NPU (효율 극대화)
Binary	1비트	이진 신경망	연구 수준

양자화 기법:

Post-Training Quantization (PTQ): 훈련 후 모델을 양자화
Quantization-Aware Training (QAT): 훈련 과정에서 양자화를 고려
Mixed-Precision Quantization: 레이어별로 다른 정밀도 적용

메모리 아키텍처

NPU는 제한된 엣지 기기 메모리 환경에서 효율적으로 동작하기 위해 특화된 메모리 계층을 사용한다:

메모리 계층:

계층	용량	특징
레지스터 파일	수 KB	가장 빠름, MAC 배열 내부
스크래치패드 메모리	수 MB	프로그래밍 가능한 SRAM
글로벌 버퍼	수십 MB	가중치/활성화 캐시
시스템 메모리	수 GB	LPDDR5/5X

가중치 압축 기법:

그룹 양자화: 가중치를 그룹 단위로 양자화하여 정밀도 유지
희소성 활용: 0(Zero) 가중치를 스킵하여 연산 절약
CSC(Compressed Sparse Column): 희소 행렬 압축 포맷

컴파일러와 런타임

모바일 NPU는 하드웨어만으로 완결되지 않고, 모델 그래프를 실제 MAC 배열과 메모리 계층에 맞게 재배치하는 소프트웨어 스택이 함께 필요하다.

구성 요소	역할	실제 영향
모델 변환기	PyTorch, TensorFlow, ONNX 모델을 NPU 실행 그래프로 변환	지원되지 않는 연산을 사전에 식별
컴파일러	연산자 융합, 타일링, 메모리 배치, DMA 스케줄링 수행	DRAM 왕복 감소, 지연 시간 단축
런타임	CPU/GPU/NPU 간 작업 분배와 동기화 수행	일부 레이어 fallback 시 성능 변동 발생
프로파일러	병목 연산, 대역폭 부족, 양자화 오차 추적	모델 최적화 반복 속도 향상

특히 연산자(operator) 지원 범위와 fallback 정책은 체감 성능을 크게 좌우한다. 컨볼루션과 GEMM은 NPU에서 빠르게 실행되더라도, 토큰 후처리나 일부 사용자 정의 연산이 CPU/GPU로 되돌아가면 지연 시간과 전력 효율이 함께 악화될 수 있다.

비교/분석

NPU 제조사별 비교

아래 표는 모바일 SoC 내장 NPU를 중심으로 정리하되, Huawei Ascend는 서버형 AI 프로세서의 기준점으로 함께 배치했다. 따라서 Ascend의 절대 성능과 전력 수치는 스마트폰 NPU와 동일 선상 비교보다는 설계 목표 차이를 보여주는 참고값으로 보는 편이 적절하다.

항목	Apple Neural Engine	Qualcomm Hexagon	Samsung Exynos NPU	MediaTek APU	Huawei Ascend
최신 세대	M4 (2024)	Snapdragon 8 Elite (2024)	Exynos 2500 (2025)	Dimensity 9400 (2024)	Ascend 910C (2024)
성능	38 TOPS	45 TOPS	59 TOPS	50 TOPS	640 TOPS
전력	~5W	~5W	~5W	~5W	~310W
공정	3nm	3nm	3nm GAA	3nm	7nm
정밀도	INT8/INT16	INT8/INT4	INT8/INT16	INT8/INT4/FP16	INT8/FP16
메모리	통합 메모리	LPDDR5X	LPDDR5X	LPDDR5X	HBM2e
프로그래밍	Core ML	SNPE/QNN	ONE SDK	NeuroPilot	MindSpore/CANN

NPU vs GPU vs TPU 종합 비교

항목	NPU (모바일)	GPU (H100)	TPU (v5p)
설계 목적	엣지 추론	범용 병렬 처리	대규모 훈련/추론
연산 유닛	MAC 배열	CUDA Core + Tensor Core	systolic array (MXU)
INT8 성능	45~70 TOPS	3,958 TOPS	-
BF16 성능	-	989 TFLOPS	459 TFLOPS
메모리	12GB LPDDR5X	80GB HBM3	95GB HBM3
대역폭	77 GB/s	3.35 TB/s	2.76 TB/s
전력 소비	~5W	~700W	~450W
효율 (TOPS/W)	7~9	5.7	1.0
프로그래밍	TFLite/Core ML	CUDA/cuDNN	JAX/TensorFlow XLA
확장성	단일 칩	NVLink multi-GPU	ICI multi-TPU Pod
가격대	$100~$300 (SoC)	~$30,000	시간제 과금
적합 워크로드	엣지 추론	훈련/추론/HPC	대규모 훈련/추론

에너지 효율 비교 (TOPS/W)

가속기	성능 (TOPS)	전력 (W)	효율 (TOPS/W)
MediaTek APU (Dimensity 9400)	50	5	10.0
Qualcomm Hexagon NPU	45	5	9.0
Samsung Exynos NPU	59	7	8.4
Apple Neural Engine (M4)	38	5	7.6
NVIDIA H100 (INT8)	3,958	700	5.7
Google TPU v5p (BF16)	459	450	1.0

주요 NPU 세대별 발전

Apple Neural Engine 발전:

세대	출시	성능	코어 수	특징
A11 Bionic	2017	0.6 TOPS	2코어	최초 도입
A12 Bionic	2018	5 TOPS	8코어	8배 성능 향상
A14 Bionic	2020	11 TOPS	16코어	16코어 확장
A17 Pro	2023	35 TOPS	16코어	3배 성능 향상
M4	2024	38 TOPS	16코어	Mac 통합

Qualcomm Hexagon 발전:

세대	출시	성능	특징
Hexagon 685	2017	3 TOPS	HVX 벡터 확장
Hexagon 740	2020	15 TOPS	HTA 텐서 가속기
Hexagon 750	2022	26 TOPS	FP16 지원
Hexagon Gen 3	2023	45 TOPS	INT4 양자화
Hexagon Gen 4	2024	75 TOPS	디스커버리 엔진

Samsung Exynos NPU 발전:

세대	출시	성능	특징
Exynos 990	2020	15 TOPS	듀얼 NPU
Exynos 2100	2021	26 TOPS	트리플 NPU
Exynos 2400	2024	34 TOPS	개선된 NPU
Exynos 2500	2025	59 TOPS	3nm GAA 공정

동작 원리

NPU 칩 내부 구조

NPU 칩은 크게 세 가지 핵심 유닛으로 구성된다:

1. MAC 배열 (Multiply-Accumulate Array)
- 행렬 곱셈-누적 연산을 수행하는 핵심 연산 유닛
- 가중치와 입력 데이터가 곱셈 후 누산됨
- INT8/INT4 정밀도로 저전력 고성능 달성

2. 벡터 유닛 (Vector Unit)
- 활성화 함수(ReLU, Sigmoid, Softmax 등) 수행
- 풀링(Pooling), 배치 정규화(Batch Normalization) 연산
- 프로그래밍 가능한 연산 지원

3. 제어 유닛 (Control Unit)
- 모델 실행 순서 제어
- 메모리 접근 패턴 관리
- DMA 엔진과의 인터페이스

추론 실행 흐름

NPU에서 추론이 실행되는 전체 흐름은 다음과 같다:

1단계: 모델 로드
- 사전 훈련된 모델의 가중치를 NPU 메모리에 로드
- 가중치는 일반적으로 INT8/INT4로 양자화되어 저장
- 모델 구조는 하드웨어에 매핑됨

2단계: 입력 데이터 전달
- CPU가 입력 데이터(이미지, 텍스트 등)를 NPU 메모리에 전달
- 입력 데이터는 적절한 정밀도로 변환됨

3단계: 레이어별 연산 실행
- 컨볼루션 레이어: MAC 배열에서 필터와 입력의 곱셈-누적
- 활성화 레이어: 벡터 유닛에서 비선형 함수 적용
- 풀링 레이어: 벡터 유닛에서 공간 차원 축소
- 완전 연결 레이어: MAC 배열에서 행렬 곱셈

4단계: 결과 출력
- 최종 예측 결과를 CPU에 반환
- 소프트맥스 등 후처리 수행

가중치 스트리밍

NPU는 메모리 대역폭 병목을 해결하기 위해 가중치 스트리밍(Weight Streaming) 기법을 사용한다:

가중치가 시스템 메모리에서 NPU 글로벌 버퍼로 스트리밍
글로벌 버퍼에서 스크래치패드 메모리로 블록 단위로 로드
스크래치패드에서 MAC 배열로 전달
MAC 배열에서 연산 수행
결과가 출력 버퍼에 저장

이 과정에서 더블 버퍼링(Double Buffering)을 적용하여 메모리 로드와 연산을 겹쳐 실행함으로써 처리량을 극대화한다.

모델 최적화 기법

NPU는 높은 성능과 낮은 전력을 달성하기 위해 다양한 모델 최적화 기법을 활용한다:

기법	설명	효과
양자화	FP32를 INT8/INT4로 변환	메모리 2~4배 절약, 속도 향상
프루닝	불필요한 가중치 제거	연산량 감소, 모델 크기 축소
가중치 공유	동일 가중치를 여러 필터에서 재사용	메모리 사용량 감소
레이어 융합	인접 레이어를 하나로 통합	메모리 왕복 최소화
모델 압축	가중치 인코딩 및 압축	대역폭 절약

장단점

장점

장점	설명
초저전력	1W 미만에서 수십 TOPS 달성, 엣지 기기에 적합
높은 에너지 효율	TOPS/W 기준 GPU/TPU 대비 2~10배 우수
빠른 추론 지연 시간	하드웨어 수준에서 순방향 전파 최적화
즉시 통합	SoC 내 CPU/GPU와 함께 동작, 별도 하드웨어 불필요
온-device 개인정보 보호	데이터가 기기 밖으로 나가지 않음
모델 최적화	양자화, 프루닝 등 하드웨어 친화적 최적화 지원

단점

단점	설명
추론 전용	훈련(Training) 불가, 사전 훈련된 모델로 제한
프로그래밍 유연성 부족	고정된 신경망 구조에 최적화
모델 구조 제한	컨볼루션, Fully Connected 등 지원 레이어 제한
제조사별 SDK 비호환	Apple/Qualcomm/Samsung 간 호환성 없음
하드웨어 의존적	모델 변경 시 하드웨어 재설계 필요
초기 개발 비용	NPU용 모델 최적화에 추가 개발 effort 필요
연산자 fallback 비용	미지원 연산이 CPU/GPU로 이동하면 지연 시간과 전력 효율 급락
온칩 메모리 제약	큰 모델은 타일링과 스트리밍 최적화 없이는 효율이 급격히 저하

핵심 정리

NPU는 모바일/엣지 기기에서 추론을 가속화하는 전용 프로세서로, 1W 미만의 초저전력으로 수십 TOPS의 성능을 달성한다.
MAC 배열 아키텍처와 INT8/INT4 양자화를 통해 에너지 효율(TOPS/W)을 극대화하며, GPU 대비 2~10배 높은 효율을 제공한다.
Apple Neural Engine, Qualcomm Hexagon, Samsung Exynos NPU, MediaTek APU 등 주요 제조사들이 경쟁하고 있으며, 2024년 기준 최대 70 TOPS까지 성능이 확장되었다.
NPU는 추론 전용이라는 제한이 있지만, 양자화, 프루닝, 가중치 스트리밍 등의 최적화 기법을 통해 엣지 기기에서 실시간 AI 추론을 가능하게 한다.
제조사별 SDK 비호환과 프로그래밍 유연성 부족이 과제이나, 온-device 개인정보 보호와 즉시 사용 가능한 AI 기능으로 엣지 AI 시장을 주도하고 있다.