StreamingLLM Analysis

StreamingLLM / Attention Sinks 심층 분석

무한 스트리밍 · Attention Sink · Sink + Window · Rolling Cache · KV 축출(H2O) · '문맥 확장이 아님'

StreamingLLM은 유한한 어텐션 윈도우로 학습된 LLM이 fine-tuning 없이 무한 길이 입력을 안정적으로 처리하게 하는 기법입니다. 핵심은 'attention sink' 현상의 발견입니다 — 초기 토큰들이 의미와 무관하게 막대한 어텐션을 받는데, 이는 softmax가 합을 1로 만들기 때문에 잉여 어텐션을 항상 보이는 초기 토큰에 덤프하는 데서 비롯됩니다. StreamingLLM은 초기 토큰 몇 개(sink)와 최근 sliding window를 함께 유지함으로써 어텐션을 안정화하고, KV 캐시를 시퀀스 길이와 무관하게 일정 크기로 묶습니다. 다만 이는 문맥 길이 '확장'이 아니라 무한 '스트리밍'을 가능케 하는 것이라는 점이 중요합니다. 본 문서는 문제 → attention sink 발견 → 해법 → 결과·KV 축출 비교 → 중요한 오해와 KV 절감에서의 위치의 순서로 분석합니다.

원논문은 Llama-2, MPT, Falcon, Pythia에서 최대 4M 토큰 이상을 안정적으로 처리했고, sliding window 재계산 대비 최대 22.2배 속도를 보고했습니다. 또한 pre-training 단계에서 placeholder token을 전용 sink로 두는 변형도 제안해, 스트리밍 배포 시점을 더 앞당길 수 있음을 보여줍니다.

핵심 개념

StreamingLLM의 핵심은 '버릴 토큰'을 무작정 늘리는 것이 아니라, 초기 몇 개의 토큰을 sink로 남겨 어텐션 분포의 완충재로 쓰는 데 있습니다. 최근 토큰만 유지하는 sliding window와 달리, 이 방식은 초기 토큰을 고정으로 보존해 softmax가 만들어내는 잉여 어텐션의 흘러갈 자리를 확보합니다.

이 구조는 기존 full-attention 모델을 다시 학습하지 않고도 적용할 수 있으며, 긴 스트리밍 입력에서 KV cache 크기를 일정하게 유지하는 데 유리합니다. 다만 window 밖의 과거를 직접 기억하는 능력을 늘려 주는 것은 아니므로, 장거리 추론이 필요한 경우에는 context extension이나 retrieval 기법과 함께 봐야 합니다.

비교/분석

동작 원리

1. 초기 토큰 몇 개를 sink로 고정합니다.
2. 새 토큰이 오면 최근 window를 갱신하고 가장 오래된 토큰을 제거합니다.
3. 캐시 안의 위치를 상대 위치로 다시 매겨 학습 길이 밖으로 벗어나지 않게 합니다.
4. sink가 어텐션의 배수구 역할을 해 분포 붕괴를 막습니다.

장단점

• 장점: 메모리 사용량이 일정하고, fine-tuning 없이 적용할 수 있으며, 긴 스트리밍에서 지연과 OOM 위험을 줄입니다.
• 한계: window 밖 정보는 사라지므로 긴 문서 질의응답처럼 먼 과거 recall이 중요한 작업에는 불리합니다.

관련 기술

• StreamingLLM: Learning to Extend LLM Context with Attention Sinks (ICLR 2024, arXiv 2309.17453)
• H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models (arXiv 2306.14048)
• Mistral 7B의 sliding window attention (arXiv 2310.06825)
• Sliding Window Attention Analysis (llm_0060_sliding_window_attention_analysis.html)
• KV Cache Offloading Analysis (llm_0040_kv_cache_offloading_analysis.html)
• Memory Centric LLM Serving Survey (llm_0003_memory_centric_llm_serving_survey.html)

핵심 정리

StreamingLLM은 attention sink와 최근 window를 결합해 기존 모델의 KV cache를 일정 크기로 유지하는 스트리밍 기법입니다. 이 방식은 초기 토큰이 어텐션의 완충재처럼 작동한다는 관찰에 기반하며, window attention이 초기 토큰을 잃을 때 붕괴하는 문제를 완화합니다. 대신 먼 과거를 직접 기억하는 문맥 확장과는 다르므로, 장거리 이해가 필요하면 다른 context extension이나 retrieval 기법과 함께 써야 합니다.

1. 문제 — 무한 스트리밍에서 두 순진한 방법이 실패

멀티턴 대화처럼 입력이 끝없이 이어지는 스트리밍 응용에서는 두 가지 부담이 생깁니다. 과거 토큰의 KV 캐시가 메모리를 잡아먹고, 학습 시퀀스 길이를 넘는 입력에 모델이 일반화하지 못합니다. 가장 단순한 두 접근이 모두 실패합니다.

그림 1. dense attention과 window attention이 각각 실패하는 이유, 그리고 결정적 증거

두 접근의 실패

• Dense attention — 모든 과거 토큰의 KV를 유지합니다. O(T²) 연산·메모리로 비싸고, 학습 길이를 넘으면 perplexity가 폭발합니다.

• Window attention — 최근 KV만 캐시합니다(효율적). 그러나 초기 토큰이 캐시에서 밀려나는 순간 perplexity가 폭발합니다.

• 결정적 증거 — Llama-2-13B를 PG19에서 측정하면, 윈도우(0+1024)는 PPL 5158로 붕괴하지만 초기 4토큰을 되살리면(4+1020) PPL 5.40으로 복원됩니다. 즉 붕괴의 원인은 '최근 토큰'이 아니라 '초기 토큰'을 잃은 것입니다.

정확한 대안인 sliding window + 재계산은 매번 다시 계산해 정확하지만 O(T²)로 매우 느립니다. 그렇다면 왜 초기 토큰이 그렇게 중요할까요? 그 답이 attention sink입니다.

2. 핵심 발견 — Attention Sink 현상

StreamingLLM의 출발점은 하나의 관찰입니다. 초기 토큰들이 의미적 중요성과 무관하게 비대칭적으로 큰 어텐션 점수를 받는다는 것 — 이를 attention sink라 부릅니다.

그림 2. 초기 토큰에 쏠리는 어텐션 분포와 그 원인(softmax 합 = 1)

왜 초기 토큰이 sink가 되는가

• softmax 제약 — 어텐션은 softmax로 계산되어 모든 점수의 합이 1입니다. 따라서 잉여 어텐션을 어딘가에 반드시 배분해야 합니다.

• 배수구 역할 — 현재 토큰에 강하게 매칭되는 과거가 없을 때, 남는 어텐션을 버릴 곳이 필요합니다. autoregressive 구조상 거의 모든 후속 토큰이 초기 토큰을 보므로(항상 보이는 안정적 위치), 초기 토큰이 잉여 어텐션의 배수구가 됩니다.

• 붕괴의 메커니즘 — 그래서 window attention이 초기 토큰을 버리면 softmax 분모(어텐션 분포)가 급변해 모델이 무너집니다. 유사한 관찰이 양자화 outlier와 SoftMax-Off-by-One(softmax1)에서도 보고되었는데, 모두 '잉여를 버릴 곳을 주자'는 같은 통찰입니다.

결정적 실험 — 초기 4토큰을 의미 없는 줄바꿈 토큰('\n')으로 바꿔도 perplexity가 복원된다(5.60). 즉 초기 토큰의 '내용'이 아니라 '위치(거기 토큰이 있다는 사실)'가 중요하다 — sink는 의미 운반체가 아니라 구조적 앵커다.

3. 해법 — StreamingLLM (sink + 최근 윈도우)

발견을 해법으로 옮기면 단순합니다. 초기 토큰 몇 개(sink)를 항상 유지하고, 거기에 최근 sliding window를 더합니다.

그림 3. sink + 최근 윈도우 구조, rolling cache, 그리고 캐시 내 상대 위치 인코딩

핵심

• sink + window — 초기 sink가 잉여 어텐션의 배수구 역할을 계속 해줘 어텐션 분포가 안정되고 붕괴가 사라집니다. fine-tuning이 필요 없어 이미 학습된 모델에 캐시 관리만 바꿔 즉시 적용합니다.

• rolling cache — 새 토큰이 오면 윈도우 왼쪽 끝을 축출하고 sink는 항상 보존하므로, KV 크기가 시퀀스 길이와 무관하게 일정(bounded)합니다.

• 위치 인코딩 — 원문의 절대 위치가 아니라 현재 캐시 내 상대 위치를 부여합니다. 그래야 토큰 인덱스가 학습 길이를 넘지 않아 모델이 안정적으로 동작합니다.

4. 결과와 KV 축출 비교

그림 4. 결과, dedicated sink token, 그리고 KV 축출(eviction) 계열 비교

결과

• Llama-2·MPT·Falcon·Pythia를 fine-tuning 없이 최대 4M 토큰 이상 안정적으로 처리하며, oracle(sliding window 재계산) 수준의 안정적 perplexity를 유지합니다.

• 매번 다시 계산하는 sliding window 재계산 대비 최대 22.2배 빠릅니다(캐시 크기가 일정하기 때문).

• Dedicated sink token — 사전학습 때 학습 가능한 placeholder 토큰 1개를 추가하면 sink 1개만으로 충분합니다(Zero Sink / Sink Token ablation). 이 통찰은 이후 일부 모델이 학습 가능한 sink를 두는 설계에 영향을 주었습니다.

KV 축출(eviction) 계열 비교

StreamingLLM은 위치 기반(초기 sink + 최근)이라 저비용·무학습이 강점입니다. H2O는 누적 어텐션 점수로 '중요 토큰(heavy hitter)'을 동적으로 골라 남기지만 점수 계산이 필요합니다. 다만 두 방법 모두 윈도우/선택 밖의 토큰을 영구 축출하므로, 중간 정보가 사라지는 'lost-in-the-middle' 한계를 공유합니다.

5. 중요한 오해와 KV 절감에서의 위치

그림 5. '문맥 확장이 아니다'라는 caveat와 KV 절감의 네 축에서의 위치

흔한 오해 — '문맥 길이 확장'이 아니다

StreamingLLM이 가능케 하는 것은 무한 '스트리밍'(유창성과 안정성을 유지하며 끝없이 생성)이지, 문맥 창의 '확장'이 아닙니다. 윈도우 밖으로 밀려난 토큰은 잊히므로, 모델이 먼 과거를 recall하지는 못합니다. StreamEval에서 120K 토큰까지 정확도를 유지하지만, 이는 답이 20줄 전쯤에 있는 '최근 정보' 질문이라는 점을 유의해야 합니다. 따라서 먼 과거를 기억해야 하는 장문 이해 과제에는 부적합하며, 그것은 context extension 기법(LongChat·Llama-2-32K 등)의 몫입니다. 오히려 둘은 상보적입니다 — context extension은 streaming LLM의 max cache size를 넓히는 것으로 결합됩니다.

KV 절감의 네 축에서의 위치

핵심 정리 — StreamingLLM은 초기 sink + 최근 윈도우로 무한 스트리밍을 일정 메모리로 안정 처리하는(무학습) 기법이다. 핵심 발견인 attention sink는 softmax 합=1 제약 때문에 초기 토큰이 잉여 어텐션의 배수구가 되는 현상으로, window attention이 초기 토큰을 버리면 붕괴하는 이유를 설명한다. 해법은 sink를 보존하고 최근 윈도우를 rolling하며 캐시 내 상대 위치를 부여하는 것이고, 결과적으로 4M 토큰+를 sliding window 재계산 대비 최대 22.2배 빠르게 처리한다. 가장 중요한 caveat은 이것이 문맥 '확장'이 아니라 '스트리밍'을 가능케 한다는 점이다 — 윈도우 밖은 잊으므로 context extension과는 상보적이다. KV 절감에서 StreamingLLM은 '토큰' 축으로, 양자화(비트)·GQA/MLA(헤드/압축)·PagedAttention(낭비)과 직교한다.

메모리 시스템 관점(연구 확장) — StreamingLLM의 가장 큰 시스템적 함의는 KV 캐시 크기가 시퀀스 길이와 무관하게 일정(bounded)하다는 점이다 — 메모리 사용량이 예측 가능해지고 OOM을 회피한다. 다만 중간 토큰을 영구 축출하므로(lost-in-the-middle), 먼 과거 recall이 필요하면 KV 오프로딩(축출 대신 하위 티어로 내림)이나 검색(RAG)과 병행해야 한다. 즉 '버릴 것은 버리되 필요하면 어디 두나'라는 축출↔오프로딩의 트레이드오프가 자연스러운 설계 축이 된다.

주의 — 본문 수치는 원논문(StreamingLLM, Xiao et al., ICLR 2024, arXiv 2309.17453)과 관련 연구(H2O arXiv 2306.14048 등)의 보고값이다. 'PPL 5158 vs 5.40', '4M 토큰', '22.2배 speedup', 'sink 4개', 'StreamEval 120K'는 특정 모델·데이터셋·조건의 보고값으로 일반화에 주의가 필요하다. attention sink는 후속 연구·프레임워크에서 활발히 활용·확장되고 있으며, sink 토큰 수·윈도우 크기의 최적값은 모델·워크로드에 따라 다르다.

# 캐시 = 초기 sink 토큰 + 최근 sliding window (크기 일정)
cache = sink_tokens[0:4] + recent_window[-W:]  # 예: 4 + 1020

# 새 토큰이 들어오면: 윈도우 왼쪽 끝을 축출, sink는 항상 보존(rolling)
def on_new_token(tok):
    recent_window.append(tok)
    if len(recent_window) > W:
        recent_window.pop_left()  # 중간 토큰 영구 축출

# sink_tokens는 절대 축출하지 않음 -> KV 크기 bounded
# 위치 인코딩: 원문 절대 위치가 아니라 캐시 내 상대 위치를 부여
positions = range(len(cache))  # 학습 길이를 넘지 않아 안정적