🤖 LLM 검증완료

MTP Analysis

MTP (Multi-Token Prediction) 심층 분석

Multi-Token Prediction · 병렬 head / 순차 module · Self-Speculative Decoding · DeepSeek-V3

MTP(Multi-Token Prediction)는 LLM이 매 위치에서 다음 토큰 1개만 예측하는 대신, 다음 여러 토큰을 함께 예측하도록 만드는 기법입니다. 학습에서는 더 밀도 높은 supervision을 제공해 표현력과 데이터 효율을 높이고, 추론에서는 여러 토큰 초안을 만들어 speculative decoding의 가속에 활용합니다.

KV 캐시를 줄이는 MLA·GQA·양자화가 '읽을 데이터의 크기'를 줄이는 접근이라면, MTP는 디코딩에서 가중치 읽기 횟수를 줄이는 접근입니다. 둘은 서로 다른 병목을 공략하므로 함께 쓰기 좋습니다.

핵심 개념

Multi-token target: 한 위치에서 다음 2개 이상 토큰을 예측합니다.
Shared trunk: 공통 Transformer 본체 위에 예측 경로를 얹습니다.
Parallel head / sequential module: 구현은 병렬 head 또는 순차 module로 나뉩니다.
Self-speculative decoding: MTP가 만든 초안을 메인 모델이 검증합니다.
Orthogonality: KV 압축과 달리 디코딩 횟수 자체를 줄입니다.

1. 핵심 아이디어 - 한 번에 여러 토큰 예측

기존 next-token prediction(NTP)은 한 위치에서 바로 다음 토큰 1개만 예측합니다. MTP는 이를 확장해 다음 n개 토큰을 예측합니다.

그림 1. NTP는 다음 토큰 1개를, MTP는 다음 n개를 예측한다.

항목	NTP	MTP
학습 목표	다음 토큰 1개	다음 여러 토큰
출력 구조	단일 head	여러 head 또는 순차 module
학습 신호	상대적으로 희소함	더 밀도 높음
추론 활용	기본 autoregressive	speculative decoding 초안

MTP가 노리는 효과는 두 가지입니다.

더 나은 학습 신호 - 한 토큰이 여러 미래 토큰을 예측하면 supervision이 조밀해져 코드와 추론형 과제에서 성능이 좋아집니다.
더 빠른 추론 - 예측한 여러 토큰을 초안으로 써서 메인 모델의 forward 횟수를 줄입니다.

Meta의 Multi-token prediction 논문은 13B 모델에서 HumanEval +12%, MBPP +17%를 보고했고, 4-token prediction 모델은 추론에서 최대 3배 빠를 수 있다고 설명합니다.

2. 두 가지 MTP 아키텍처

MTP 구현은 크게 두 갈래입니다. Meta는 병렬 독립 head를, DeepSeek-V3는 순차 module을 사용합니다.

그림 2. Meta의 병렬 독립 head와 DeepSeek-V3의 순차 module.

구현	구조	특징
Meta	공유 trunk + 독립 head n개	구현이 단순하고 학습 시간 오버헤드가 거의 없음
DeepSeek-V3	순차 MTP module D개	인과 사슬을 유지하며 학습 보조와 추론 재활용을 함께 노림

Meta - 병렬 독립 head

공유 trunk 위에 n개의 독립 출력 head를 둡니다.
각 head는 t+1, t+2, ..., t+n을 병렬로 예측합니다.
head 간 의존성을 직접 모델링하지는 않지만 구조가 단순합니다.

DeepSeek-V3 - 순차 module

각 module은 1개의 Transformer 층과 공유 임베딩, 공유 출력 head로 구성됩니다.
k번째 module은 앞 단계 hidden state와 실제 미래 토큰 임베딩을 함께 써서 다음 토큰을 예측합니다.
학습용 보조 objective로 쓰며, 추론 시에는 module을 버려도 메인 모델이 동작합니다.

개념적 흐름

h = trunk(x_1:t)
for k in 1..D:
  e = Emb(x_{t+k})
  h = M_k(concat(h, e))
  p = OutHead(h)
  loss += CE(p, x_{t+k+1})

3. 추론 가속 - Speculative Decoding

MTP의 추론 가속은 speculative decoding 형태로 이뤄집니다. 가벼운 MTP가 여러 토큰을 초안으로 만들고, 무거운 메인 모델이 그것들을 한 번의 forward로 검증합니다.

그림 3. 초안 생성, 일괄 검증, 수락/거절 흐름.

단계	역할
초안 생성	MTP module이 여러 후보 토큰을 빠르게 만듦
검증	메인 모델이 한 번의 forward로 후보를 확인
수락/거절	맞는 prefix는 수락하고, 틀린 지점부터 다시 생성

왜 빨라지는가

디코딩은 대체로 메모리 바운드입니다.
같은 가중치를 읽는 한 번의 forward로 여러 토큰을 검증할 수 있습니다.
초안이 맞는 만큼 메인 모델 forward 횟수가 줄어듭니다.

Meta 논문은 4-token prediction이 최대 3배 빠를 수 있다고 보고합니다. DeepSeek-V3 Technical Report는 MTP objective가 speculative decoding에 활용될 수 있다고 명시합니다.

4. 효과·채택과 다른 기법과의 관계

그림 4. 보고된 효과와 관련 기법, KV 절감 기법과의 관계.

출처	관찰
Meta MTP 논문	HumanEval +12%, MBPP +17%, 4-token prediction 최대 3x 가속
DeepSeek-V3 Technical Report	MTP objective를 채택하고 speculative decoding에 활용 가능하다고 설명
DeepSeek-V3 README	모델 배포본에 MTP module weights가 포함됨

KV 절감 기법과의 관계

축	줄이는 대상	예
KV 절감	읽을 데이터의 크기	MLA, GQA, KV 양자화
MTP/speculative	읽는 횟수	Multi-token prediction, Medusa, EAGLE

둘은 서로 다른 병목을 건드립니다. 따라서 MLA로 KV를 줄이고, MTP로 디코딩 횟수를 줄이는 식의 조합이 가능합니다. DeepSeek-V3는 MLA와 MTP를 함께 사용한 대표 사례입니다.

장단점

장점	단점
코드와 생성 과제에서 성능 향상을 기대할 수 있다	추가 head 또는 module 설계가 필요하다
speculative decoding에 바로 연결된다	초안 품질이 낮으면 이득이 줄 수 있다
KV 압축 기법과 함께 쓸 수 있다	예측 깊이 n, k를 잘 잡아야 한다
학습 보조 objective로도 쓸 수 있다	구현 방식에 따라 커널/서빙 복잡도가 늘 수 있다

문서/기술	연결점
MLA Analysis	KV 캐시를 줄이는 대표적 아키텍처
PagedAttention Analysis	KV 배치 관리와 MTP의 직교성 비교 기준
FlashAttention Analysis	디코딩/어텐션 커널 최적화의 대표 사례
DeepSeek-V3 Technical Report	MTP objective와 MoE/MLA 조합
Multi-token prediction paper	MTP의 기본 실험과 self-speculative decoding
Block-wise parallel decoding	self-speculative decoding 계열의 기반 아이디어
Medusa	다중 head 기반 추론 가속

핵심 정리

MTP는 다음 토큰 1개가 아니라 여러 토큰을 함께 예측해 학습 신호를 조밀하게 만들고, 그 결과를 speculative decoding의 초안으로 재활용하는 기법입니다. Meta의 논문은 13B 모델에서 HumanEval +12%, MBPP +17%와 최대 3배 추론 가속을 보고했고, DeepSeek-V3는 MTP objective를 채택해 학습과 추론 둘 다를 노립니다.

구현은 병렬 독립 head와 순차 module로 나뉘며, DeepSeek-V3처럼 MLA와 함께 쓰면 KV 캐시 절감과 디코딩 가속을 동시에 노릴 수 있습니다. 요지는 '읽을 데이터 크기'를 줄이는 기법과 '읽는 횟수'를 줄이는 기법이 서로 직교한다는 점입니다.

Ryotta's Basic