Speculative Decoding Analysis

Speculative Decoding 심층 분석

Draft Model · Verification · Acceptance Rate · Medusa/EAGLE · Throughput vs TTFT

Speculative decoding은 작은 draft가 여러 토큰을 먼저 제안하고, 큰 target model이 이를 한 번에 검증함으로써 autoregressive decoding의 step 수를 줄이는 기법입니다. 계산량을 완전히 없애는 것은 아니지만, acceptance가 충분히 높으면 target model의 비싼 한 토큰당 한 번 forward 루프를 압축할 수 있습니다.

이 방식은 모델 출력 분포를 유지한 채 병렬 후보를 넓히는 데 초점이 있습니다. 따라서 draft와 target의 분포가 얼마나 가까운지, 그리고 서빙 스택이 accept/reject 경계를 얼마나 가볍게 처리하는지가 실제 성능을 좌우합니다.

1. 기본 아이디어 — 여러 토큰을 한 번에 전진하려는 시도

일반 디코딩에서는 target model이 토큰 한 개를 낼 때마다 한 번의 decode step이 필요합니다. Speculative decoding은 더 작은 draft model이 먼저 k개 후보를 빠르게 제안하고, target model이 이 후보 구간을 병렬적으로 검증합니다.

초반 후보들이 길게 맞으면 그만큼 여러 토큰을 한 번에 전진할 수 있습니다. 결국 속도 향상은 'draft가 얼마나 싸게 많은 후보를 만들 수 있는가'와 '그 후보가 얼마나 자주 맞는가'의 곱으로 결정됩니다.

그림 1. draft propose -> target verify -> multi-token advance의 개념

2. 핵심 개념

• draft model: 빠르게 후보 토큰을 만드는 작은 모델입니다.
• target model: 최종 출력을 책임지는 큰 모델이자 verifier입니다.
• speculative window: 한 번에 제안하는 후보 길이 k입니다.
• acceptance rate: 제안된 후보 중 실제로 채택되는 비율입니다.
• rollback: mismatch 이후 후보를 버리고, KV cache와 샘플링 상태를 경계에 맞게 되돌리는 동작입니다.
• shared prefix KV: 채택된 prefix는 재사용하고, 분기점에서만 새 경로를 만듭니다.

3. 비교/분석

Medusa는 별도 draft model 대신 backbone 위에 multiple decoding heads를 붙이고 tree attention으로 후보를 동시에 검증합니다. Medusa-1은 frozen backbone 위에서 lossless acceleration을 노리고, Medusa-2는 backbone까지 함께 fine-tuning해 더 높은 speedup을 얻는 방향입니다. EAGLE은 feature level autoregression으로 uncertainty를 줄여 speculative sampling을 안정화합니다. Medusa 쪽은 typical acceptance와 self-distillation도 함께 제안해 acceptance rate와 학습 데이터 문제를 보완합니다.

4. 동작 원리 — accept/reject와 rollback

일반적인 흐름은 다음과 같습니다.

1. draft model이 k개 후보를 생성합니다.
2. target model이 후보 prefix를 한 번에 검증합니다.
3. 일치한 prefix는 즉시 채택합니다.
4. 첫 mismatch 지점 이후 토큰은 폐기합니다.
5. 필요한 경우 fallback decode로 다음 토큰을 다시 시작합니다.

그림 2. accept가 길게 이어질 때와 중간 reject가 발생할 때의 차이

Rollback과 Sampling

실제 시스템은 accepted prefix와 rejected suffix를 정확히 구분해야 하고, 샘플링 상태와 KV cache도 그 경계에 맞춰 보존하거나 폐기해야 합니다. 그래서 speculative decoding은 단순히 두 모델을 붙이는 것이 아니라, accept-aware KV 관리가 함께 필요합니다.

5. 장단점

draft model이 충분히 작고, target과 분포가 비슷하며, acceptance rate가 높다면 speculative decoding은 target step 수를 크게 줄입니다. 특히 긴 응답 생성에서 이익이 커집니다.

반대로 draft 자체가 비싸거나 acceptance rate가 낮으면, draft 비용과 verification 비용이 합쳐져 오히려 손해가 날 수 있습니다. 즉 speculative decoding은 공짜 가속이 아니라, distribution match가 맞을 때만 이익이 나는 조건부 최적화입니다.

그림 3. draft 비용, acceptance rate, 응답 길이에 따른 이득/손해 영역

6. 주요 변형

가장 직관적인 방식은 독립된 작은 draft model을 두는 것입니다. 하지만 메모리와 운영 복잡도가 커서, 같은 모델의 얕은 층이나 추가 head를 활용하는 self-speculation, Medusa, EAGLE 계열도 많이 연구됩니다.

이 변형들은 공통적으로 제안은 더 싸게, 검증은 가능한 한 재활용하는 쪽을 노립니다. 다만 각 방식은 학습 필요성, acceptance 특성, KV 공유 구조가 달라 서빙 관점의 장단점도 다릅니다.

그림 4. 두 모델 방식, self-speculation, multi-head 방식의 비교

7. 관련 기술

실전에서는 speculative decoding도 batch scheduler와 함께 돌아가야 합니다. 어떤 요청은 draft 중이고, 어떤 요청은 verify 중이며, 어떤 요청은 reject로 인해 fallback decode를 수행할 수 있으므로 active set의 상태가 더 복잡해집니다.

따라서 throughput을 높이려면 draft executor, verifier executor, KV manager, sampler를 하나의 파이프라인으로 묶어야 합니다. 특히 verify와 fallback이 다른 latency 특성을 가지므로 continuous batching 정책과 충돌하거나 시너지를 낼 수 있습니다.

그림 5. speculative decoding이 들어간 서빙 스택

8. 핵심 정리

Speculative decoding의 본질은 작은 모델의 추정을 이용해 큰 모델의 step 수를 줄이는 것입니다. 실제 이익은 acceptance rate와 draft 비용의 함수이며, 모델과 워크로드에 따라 크게 달라집니다.

그래서 이 기법은 단일 알고리즘이라기보다, draft 설계·verification 커널·KV 관리·batch scheduler가 함께 최적화되어야 의미 있는 시스템 기법으로 이해하는 것이 맞습니다.

Speculative decoding의 속도 향상은 draft 비용, acceptance rate, fallback 처리, 그리고 스케줄러/KV 관리가 함께 맞물릴 때 현실적인 이득으로 이어집니다. 그래서 실제 서빙에서는 단일 알고리즘 비교보다도, 어떤 speculative window와 verify 경로를 어떤 배치 정책 위에 얹을 것인지가 더 중요합니다.