Architecture Venues LLM Memory Papers

아키텍처 학회의 메모리 관점 LLM 최적화 논문 (2024~2026)

ISCA · MICRO · HPCA · ASPLOS · DAC · PACT · DATE — KV 캐시·PIM/PNM·CXL·in-storage·양자화·서빙·신뢰성

본 문서는 2024~2026년 주요 컴퓨터 아키텍처 학회(ISCA·MICRO·HPCA·ASPLOS·DAC·PACT·DATE)에 게재된, '메모리 시스템 관점'에서 LLM을 최적화한 논문들을 모아 정리한 것입니다. 메모리 관점이란 KV 캐시·메모리 대역폭·용량·데이터 이동을 1급 제약으로 보는 시각으로, 본 문서는 이를 6갈래 — PIM/PNM 가속, CXL·메모리 풀링, in-storage·DIMM-NDP, KV 양자화·압축, 희소·축출·어텐션 IO, 서빙·P/D 분리·신뢰성 — 로 분류합니다. 각 논문은 발표 학회·연도·핵심 기여를 함께 표기했습니다.

범위와 정확성에 관한 주의: 학회·연도는 공식 프로그램과 venue-태깅 자료로 확인했으나, 일부 항목은 arXiv 단계로 7개 학회 게재가 확정되지 않았습니다(표에 'arXiv'로 표기). 이런 항목은 프리프린트이거나 다른 학회(예: OSDI·FAST·MLSys·EMNLP) 발표일 수 있습니다. 또 빠르게 쏟아지는 분야라 본 목록은 대표 사례 모음이며 완전하지 않습니다. PhD 연구에 인용하실 때는 각 논문의 출처를 직접 확인하시길 권합니다.

1. 학회 × 연도 지형

그림 1. 7개 학회 × 2024~2026 지형 (셀 안은 대표 논문이며 전체가 아님)

메모리 관점의 LLM 최적화는 ISCA·MICRO·HPCA·ASPLOS에 집중되어 있으며, 특히 HPCA 2025와 ASPLOS 2026이 풍부합니다. DAC·PACT·DATE에도 관련 논문이 있으나 편수가 상대적으로 적습니다. 2026년은 일부만 공개되어 있습니다(HPCA·ASPLOS 위주, MICRO·ISCA 2026은 이후 개최/공개).

2. 분류 — 메모리 관점 6갈래

그림 2. 본 논문 모음의 6갈래 분류와 대표 논문(학회 태그)

3. PIM / PNM 가속기 — 메모리 곁에서 GEMV 처리

디코딩의 GEMV(메모리 바운드)를 메모리 곁(PIM/PNM)에서 처리하고, prefill의 GEMM은 NPU/GPU가 맡는 이종 가속이 핵심 패턴입니다.

이 계열은 GPU가 반복적으로 HBM에서 KV를 읽어 오는 비용을 줄이는 데 집중합니다. 특히 AttAcc, NeuPIMs, PAISE, Pimba 같은 논문은 "연산을 더 빠르게" 하기보다 "데이터를 덜 움직이게" 만드는 쪽이 decode 지연에 더 직접적이라는 점을 보여 줍니다.

4. CXL · 메모리 풀링 — 용량 확장과 코히어런트 티어

CXL은 용량을 확장하는 메모리 티어이자, 곁 연산(PNM)을 얹는 계산 기판으로 진화하고 있습니다.

이 축의 핵심은 HBM만으로는 감당하기 어려운 긴 문맥과 많은 동시 요청을 외부 메모리 티어로 넘기는 것입니다. 다만 링크 지연, page placement, coherence 비용이 커지므로, 어떤 KV를 CXL로 밀어낼지 결정하는 정책이 성능을 좌우합니다.

5. In-storage · DIMM-NDP — KV/어텐션을 플래시·DIMM으로

GPU 밖 대용량 매체(플래시·DIMM)에 KV를 두고 그 자리에서 처리해 전송 병목을 줄입니다.

이 접근은 가장 느린 티어를 쓰는 대신 가장 큰 용량을 확보합니다. InstAttention, Lincoln, Hermes 계열은 SSD나 DIMM 근처에서 일부 attention 또는 KV 접근을 끝내 전송량을 줄이지만, 그만큼 소프트웨어 런타임과 장치 스케줄러의 역할이 커집니다.

6. KV 양자화 · 압축 (하드웨어/시스템)

KV 캐시의 비트수·정밀도를 줄여 용량·대역폭을 절감하며, 전용 PE·데이터형식으로 가속합니다.

이 분류는 가장 범용성이 높습니다. 같은 모델과 같은 서빙 스택에서도 KV 비트폭만 조정해 즉시 수용량을 높일 수 있기 때문에, Oaken, BitMoD, MANT, ZipServ처럼 하드웨어 구조와 수치 형식을 함께 설계하는 연구가 빠르게 늘고 있습니다.

7. 희소 · 축출 · 어텐션 IO

토큰을 선택·축출해 KV를 줄이거나, 어텐션의 데이터 이동(IO)을 분석·최적화합니다.

이 그룹은 "모든 KV를 끝까지 유지해야 하는가"라는 질문에서 출발합니다. ALISA, PAT, V-Rex, I/O Analysis 계열은 중요한 토큰만 남기거나 접근 순서를 바꿔서, 저장 용량뿐 아니라 실제 메모리 트래픽까지 줄이는 방향을 취합니다.

8. 서빙 · P/D 분리 · 신뢰성

시스템 계층의 스케줄링·분리(disaggregation)와, 메모리 신뢰성(refresh·중요도 인식)을 다룹니다.

Splitwise, Bullet, QoServe는 요청 단위의 지연과 처리량을 조절하는 운영 문제를 전면에 둡니다. Kelle처럼 신뢰성을 정면으로 다루는 사례는 아직 적지만, CXL과 이기종 티어가 넓어질수록 "중요한 KV를 더 안전한 티어와 ECC 정책에 둘 것인가"가 독립적인 연구 축으로 커질 가능성이 높습니다.

9. 종합 — 붐비는 영역과 빈 영역

그림 4. 활발한 영역과 상대적으로 비어 있는 영역(연구 기회)

하드웨어 메모리 스택의 각 티어(HBM·HBM-PIM·CXL·DIMM·플래시)를 노린 논문들을 한눈에 보면 다음과 같습니다.

그림 3. 하드웨어 메모리 스택 관점에서 각 티어를 공략한 대표 논문

핵심 관찰

• 가장 활발한 영역은 PIM/PNM 디코딩 가속(NPU+HBM-PIM·CXL-PNM), KV 양자화 하드웨어, P/D 분리 서빙, in-storage 오프로딩입니다.

• 핵심 패턴이 수렴하고 있습니다 — 'GEMM=GPU/NPU, GEMV=PIM'의 역할 분담과, 'HBM(대역폭)+CXL(용량·풀링)+플래시/DIMM(대용량)'의 이기종 메모리 계층입니다.

• 신뢰성은 Kelle(MICRO 2025) 등 소수에 그칩니다. KV 캐시가 softmax 마스킹으로 비트 오류에 비교적 강하다는 점은 알려졌지만, 비트오류·refresh·ECC를 정면으로 다룬 아키텍처 논문은 거의 없습니다.

핵심 정리 — 2024~2026년 ISCA·MICRO·HPCA·ASPLOS에는 메모리 관점 LLM 최적화 논문이 풍부하며(특히 HPCA 2025·ASPLOS 2026), PIM/PNM 가속·CXL/메모리 풀링·in-storage·KV 양자화·희소/축출·서빙 분리의 6갈래로 정리된다. 공통적으로 디코딩의 memory-bound GEMV를 메모리 곁(PIM/PNM)에서 처리하고, HBM·CXL·플래시의 이기종 계층으로 용량·대역폭을 동시에 푸는 방향으로 수렴한다. 반면 신뢰성(비트오류·refresh·ECC 인식)은 Kelle 등 극소수로 비어 있다.

연구 기회(메모리 시스템 관점) — '어느 KV를 · 어느 티어(HBM/CXL/DIMM/플래시)에 · 몇 비트로 · 어떤 ECC 강도로' 둘지를 정확도 SLO와 성능 SLO를 함께 고려해 정식화하는 reliability-aware KV 티어링/오프로딩이 가장 자연스러운 빈칸이다. 티어마다 비트 오류 특성이 다른 CXL 이기종 메모리에서 특히 의미가 크며, 본 목록의 PIM/PNM·CXL·양자화 연구들이 그 토대를 제공한다.

주의(정확성·완전성) — 학회·연도는 공식 프로그램(hpca-conf.org, asplos-conference.org, IEEE/ACM DL)과 venue-태깅 자료로 교차확인했다. 다만 표에 'arXiv (미확정)'으로 표시한 항목(P3-LLM·Sangam·Scalable CXL-PNM·CXL-NDP·L3 등)은 본 7개 학회 게재가 확인되지 않았으며, 프리프린트이거나 다른 학회(OSDI·FAST·MLSys·EMNLP·SOSP 등) 발표일 수 있다. 또 일부 시스템 논문(InfiniGen=OSDI'24, Mooncake=FAST'25, DistServe=OSDI'24, Jenga=SOSP'25 등)은 본 7개 아키텍처 학회 밖이라 제외했다. 분야가 매우 빠르게 발전하므로 본 목록은 대표 사례 모음이며 완전하지 않다 — 인용 전 원문·DOI 확인을 권한다.

10. 동작 원리

이 분야의 공통 동작 원리는 비교적 단순합니다. prefill은 큰 행렬곱(GEMM) 비중이 높아 GPU/NPU 같은 계산 자원에 잘 맞고, decode는 매 토큰마다 KV 캐시를 계속 읽는 GEMV 성격이 강해 메모리 대역폭과 용량이 병목이 됩니다. 그래서 각 논문은 prefill과 decode를 같은 곳에서 모두 처리하려 하기보다, 병목이 다른 구간을 서로 다른 하드웨어에 배치하는 방향으로 수렴합니다.

KV를 작게 만드는 계열은 같은 흐름 안에서 더 많은 요청을 담게 해 주고, P/D 분리 계열은 계산 경로를 나눠 간섭을 줄입니다. 반면 PIM/PNM 계열은 데이터를 GPU로 옮기기 전에 메모리 곁에서 끝내려 하고, in-storage 계열은 더 아래 티어에서 KV를 다루며 전송 자체를 줄입니다.

11. 장단점

전체적으로 보면 이 분야는 성능 이득이 분명하지만, 시스템 통합과 검증 비용이 높습니다. 특히 실제 제품화 관점에서는 정확도, 지연, 비용, 신뢰성 사이의 균형을 함께 맞춰야 합니다.

12. 관련 기술

이 문서의 범위 밖으로는 KV cache management 서베이, 효율적 LLM 추론 서베이, 하드웨어 관점 서베이가 직접적으로 이어집니다. 메모리 계층과 스케줄링이 함께 얽히므로, 개별 논문보다 이들 정리 문서와 함께 보는 편이 이해가 빠릅니다.

13. 핵심 정리

2024~2026년 아키텍처 학회의 LLM 메모리 연구는 PIM/PNM, CXL 티어링, in-storage, KV 양자화, 희소/축출, P/D 분리로 수렴하고 있습니다. 공통 방향은 decode의 memory-bound 병목을 줄이고, HBM·CXL·DRAM·SSD를 역할별로 나누는 것입니다.

다만 신뢰성 축은 아직 비어 있는 편이라, reliability-aware KV 티어링과 오프로딩이 가장 자연스러운 연구 공백으로 남아 있습니다. 이 분야는 성능과 비용의 개선폭이 큰 대신, 하드웨어·소프트웨어 통합 난도가 높다는 점이 함께 따라옵니다.