Sliding Window Attention Analysis

Sliding Window Attention 심층 분석

국소 어텐션 아키텍처 · Receptive Field · Rolling Buffer Cache · Longformer·Mistral·Gemma · SWA vs StreamingLLM

Sliding Window Attention(SWA)은 각 토큰이 모든 과거가 아니라 '최근 W개' 토큰만 보도록 어텐션을 국소화하는 아키텍처입니다. 연산을 O(n²)에서 O(n×W)로 낮춰 긴 시퀀스를 효율적으로 처리하고, KV 캐시를 W에 고정합니다. 핵심 통찰은 국소 어텐션 레이어를 쌓으면 CNN처럼 receptive field가 깊이에 비례해 커진다는 점입니다.

이 때문에 윈도우보다 훨씬 멀리까지 정보가 전파될 수 있습니다. 중요한 것은 SWA가 '학습 시점에' 모델에 내장되는 아키텍처라는 점으로, 추론 시점 KV 관리 기법인 StreamingLLM과는 결정적으로 다릅니다. 실제 구현에서는 Longformer처럼 국소 window에 global 토큰을 섞거나, BigBird처럼 random 패턴을 더해 장거리 접근을 보강할 수 있습니다. 반대로 Mistral 7B는 모든 레이어에 SWA를 적용하고, Gemma 2는 local-global attentions를 인터리브해 효율과 장거리 recall을 함께 잡습니다. 본 문서는 핵심 아이디어 → receptive field → KV 이득 → 변형·모델(Longformer·Mistral·Gemma) → SWA vs StreamingLLM과 trade-off의 순서로 분석합니다.

1. 핵심 아이디어 — Full vs Sliding Window 어텐션

표준 어텐션은 각 토큰이 모든 과거 토큰을 봅니다. 시퀀스 길이 n에 대해 O(n²) 연산·메모리가 들어 긴 입력에서 비싸집니다. Sliding Window Attention은 각 토큰이 최근 W개만 보도록 어텐션을 국소화합니다.

그림 1. Full attention(삼각 마스크, O(n²))과 Sliding Window Attention(띠 마스크, O(n×W))

Sliding Window Attention이란

• 국소 어텐션(local attention) — 각 토큰이 최근 W개 토큰만 봅니다. 어텐션 마스크가 대각선을 따라 폭 W의 '띠' 모양이 됩니다.

• 연산량 — O(n×W)로, W를 고정하면 시퀀스 길이에 선형입니다(full의 O(n²) 대비 긴 입력에 유리).

• 아키텍처 선택 — SWA는 모델을 학습 시점에 이 패턴으로 설계하는 것입니다. 추론 시점에 KV를 자르는 트릭이 아니며, 이 점이 StreamingLLM과 대비됩니다.

• 기원 — Sparse Transformers(Child et al. 2019)와 Longformer(Beltagy et al. 2020)가 도입했고, Mistral 7B가 LLM에 본격 적용했습니다. '국소만 보면 먼 토큰은 못 보지 않나'라는 의문은 다음 절(receptive field)에서 해소됩니다.

2. 핵심 통찰 — Receptive Field가 레이어로 커진다

SWA의 핵심은 단일 레이어가 아니라 쌓인 레이어 전체에서 봐야 합니다. 한 레이어에서는 W개만 직접 보지만, 레이어를 거치면 정보가 윈도우 경계를 넘어 전파됩니다.

그림 2. 레이어를 쌓으면 receptive field가 W×k로 커지는 원리(CNN과 유사)

왜 국소 어텐션으로도 멀리 보는가

• 재귀적 전파 — 레이어 k의 토큰 i는 직전 레이어의 [i-W, i]를 보고, 그 토큰들은 다시 더 이전 레이어의 최근 W개를 봅니다. 재귀적으로 입력층 기준 약 W×k 거리의 토큰까지 간접 접근합니다.

• CNN과 같은 원리 — 작은 커널(윈도우)을 여러 층 쌓아 넓은 수용 영역(receptive field)을 만드는 것과 동일합니다.

• Mistral 7B 사례 — W=4096, 32 레이어면 최종 레이어의 이론적 어텐션 범위는 약 131K 토큰입니다(4096×32). '윈도우 밖 토큰도 다음 단어 예측에 영향을 준다'는 것이 핵심입니다.

효율과 표현력의 절충 — 연산은 O(n×W)로 싸게 유지하면서 정보 흐름은 깊이를 통해 멀리 닿게 한다. 다만 이는 '간접' 경로다 — 직접 어텐션이 아니므로, 먼 거리의 정밀한 recall은 약해진다(뒤의 trade-off에서 다룬다).

3. KV 캐시 이득 — Rolling Buffer Cache

고정된 어텐션 범위는 메모리에 직접적인 이점을 줍니다. 각 레이어에서 최근 W개 토큰의 KV만 있으면 되므로, KV 캐시를 W 크기에 고정할 수 있습니다.

그림 3. 순환 버퍼(rolling buffer)와 메모리 비교(Full은 O(n) 증가, SWA는 bounded)

순환 버퍼 개념 — W 크기의 circular buffer를 사용합니다.

Rolling Buffer Cache의 핵심

• 순환 버퍼 — 크기 W의 버퍼에 KV를 저장하고, 가득 차면 가장 오래된 항목을 덮어씁니다. KV 캐시 크기가 시퀀스 길이와 무관하게 일정(bounded)하여 메모리가 예측 가능하고 OOM을 회피합니다.

• Mistral 보고 — 시퀀스 길이 8192에서 캐시 메모리 50% 절감, 품질 저하 없음. 연산도 O(n×W)로 선형이며, FlashAttention·xFormers 최적화로 16K·W=4K에서 2배 속도 향상이 보고됩니다.

• 주의 — rolling buffer는 인덱스 관리가 까다로워 speculative decoding 등 일부 추론 기법과는 조정이 필요합니다. 이것은 KV 절감의 '토큰' 축이되, 추론 트릭이 아니라 아키텍처로 내장된다는 점이 StreamingLLM과의 차이입니다.

4. 변형과 모델 — 국소 + 전역의 조합

순수 국소 어텐션만으로는 먼 거리 직접 접근이 약하므로, 실제 모델들은 전역(global) 어텐션을 섞거나 국소·전역 레이어를 번갈아 둡니다.

그림 4. 패턴 변형(window+global+dilated+random), 인터리브, 채택 모델

패턴 변형과 인터리브

• Longformer — 국소 window + dilated(띄엄띄엄 넓게 보는) window + 특정 토큰의 global 어텐션을 조합합니다(장문 문서용).

• BigBird — 국소 window + global + random(임의) 어텐션의 조합으로 full attention을 근사합니다.

• 인터리브(Gemma 2) — 국소 SWA 레이어와 전역 full 레이어를 매 레이어 번갈아 둡니다(절반씩). 2레이어마다 전체 수용이 되어, 절반은 전체를 보므로 long-context 품질을 지키면서 절반의 연산·캐시를 절약합니다.

채택 모델

추세는 '국소 다수 + 전역 소수'의 하이브리드입니다 — 대부분의 레이어는 효율적인 SWA로 두고 일부 레이어에 전역 어텐션을 두어, 효율과 장거리 recall을 절충하는 것이 사실상 표준이 되었습니다.

5. SWA vs StreamingLLM, 그리고 정리

그림 5. SWA와 StreamingLLM의 차이, trade-off, 그리고 SWA의 위치

SWA vs StreamingLLM — 자주 혼동되는 구분

중요한 점은 StreamingLLM이 보인 '윈도우 어텐션의 실패'는 full로 학습된 모델을 추론 때 단순히 자른 경우라는 것입니다. SWA로 처음부터 학습된 모델(Mistral)은 국소 패턴을 익혀 정상 동작합니다(다만 attention sink로 추가 보강할 수 있습니다). 즉 둘은 배타적이지 않고 층위가 다릅니다.

장단점

• 장점 — 연산과 KV가 선형/일정(bounded)하여 긴 시퀀스를 효율적으로 처리하고 메모리가 예측 가능합니다.

• 단점 — 먼 거리 토큰에 직접 접근이 약합니다(간접 경로에 의존). 장거리 정밀 recall에서 손해가 있어, 전역 레이어 인터리브(Gemma) 등으로 보완합니다.

관련 기술

• Longformer: The Long-Document Transformer (https://arxiv.org/abs/2004.05150)
• Big Bird: Transformers for Longer Sequences (https://arxiv.org/abs/2007.14062)
• Mistral 7B (https://arxiv.org/abs/2310.06825)
• Gemma 2: Improving Open Language Models at a Practical Size (https://arxiv.org/abs/2408.00118)
• StreamingLLM Analysis (llm_0055_streamingllm_analysis.html)
• KV Cache Offloading Analysis (llm_0040_kv_cache_offloading_analysis.html)
• Memory Centric LLM Serving Survey (llm_0003_memory_centric_llm_serving_survey.html)
• Speculative Decoding Analysis (llm_0070_speculative_decoding_analysis.html)

핵심 정리

Sliding Window Attention은 각 토큰이 최근 W개만 보는 국소 어텐션 아키텍처로, 연산을 O(n×W)로 낮추고 KV 캐시를 W에 고정(bounded)합니다. 핵심 통찰은 레이어를 쌓으면 receptive field가 W×k로 커진다는 점(CNN과 유사)으로, 국소 어텐션으로도 멀리까지 정보가 전파됩니다. rolling buffer cache로 KV를 W에 고정해 메모리 50% 절감과 2배 속도가 보고되었습니다. SWA(아키텍처·학습 시점)는 StreamingLLM(추론 시점 KV 관리)과 층위가 다르며, Longformer·BigBird·Gemma 같은 하이브리드 변형은 장거리 접근을 보완합니다. KV 절감의 '토큰' 축(아키텍처 버전)으로, 양자화(비트)·GQA/MLA(헤드/압축)·PagedAttention(낭비)과 직교합니다.

메모리 시스템 관점(연구 확장) — SWA의 가장 큰 시스템적 함의는 KV 캐시 크기가 시퀀스 길이와 무관하게 일정(bounded)하다는 점입니다. 긴 입력에서도 메모리가 폭증하지 않아 예측 가능하고, 인터리브 모델에서는 국소 레이어와 전역 레이어의 풋프린트 차이를 기준으로 레이어별 배치·오프로딩·티어링을 설계할 수 있습니다. StreamingLLM(축출)과 마찬가지로 '버릴 것은 버리되 필요하면 어디 두나'라는 축출/국소화 ↔ 오프로딩의 트레이드오프가 적용됩니다.

주의 — 본문 수치는 원논문·기술 자료(Mistral 7B arXiv 2310.06825, Longformer arXiv 2004.05150, BigBird arXiv 2007.14062, Gemma 2 arXiv 2408.00118 등)의 보고값입니다. 'W=4096', '131K 토큰', '50% 캐시 절감', '2배 속도', 'Gemma 국소 4096/전역 8192'는 특정 모델·조건의 보고값으로 일반화에 주의가 필요합니다. 윈도우 크기·국소/전역 비율의 최적값은 모델·워크로드에 따라 다르며, SWA 채택 여부도 모델 세대마다 달라집니다(일부 모델은 이후 SWA를 빼기도 합니다). receptive field는 '이론적' 범위로 실제 장거리 활용도와는 차이가 있을 수 있습니다.

순환 버퍼 개념

slot = position % W
cache[slot] = (key, value)  # 가득 차면 가장 오래된 것을 덮어씀
attn = attention(query, cache[recent_W_slots])  # 최근 W개 KV에 대해서만 수행