Performance Predictability in Heterogeneous Memory (CAMP)

ASPLOS 2026 | Virginia Tech, Microsoft/UW, NVIDIA

문제 배경

Heterogeneous Memory의 성능 예측 불가능성

현대 서버는 DRAM + CXL 기반 heterogeneous memory를 채택 중. DRAM 대비 CXL은 latency 2–3×, bandwidth 20–50% 수준. 이로 인한 slowdown은 workload마다 극단적으로 편차 큼 — 일부 workload는 거의 영향 없고, 다른 workload는 심각한 pipeline stall 발생.

기존 metric들의 실패 (Figure 1, Table 1):

265개 workload에 대해 NUMA 환경에서 측정한 Pearson 상관계수:

Metric	사용 시스템	Pearson r
MPKI	Memstrata [59]	0.40
Memory Bandwidth	BATMAN [20]	0.84
Access Latency	Colloid [51]	0.37
Stall Cycles	X-Mem [23]	0.66
Normalized Stalls	—	0.60
AOL (=Latency/MLP)	SoarAlto [38]	0.88
CAMP	Ours	0.97
기존 접근법이 실패하는 이유:

1. MPKI — 접근 빈도만 보며 latency tolerance 무시. pointer-chasing workload (중간 MPKI)는 serialized access로 큰 slowdown, MLP 높은 workload는 MPKI 높아도 slowdown 작음. Store buffer backpressure, prefetch inefficiency 포착 불가.
1. Average Latency / Bandwidth — 동일 latency를 겪어도 OoO core의 instruction dependency, ROB occupancy, outstanding miss overlap에 따라 stall cycle 완전히 다름. CPU data buffer (LFB/SB) 영향 미포함.
1. Stall cycles — DRAM 측정 stall이 CXL에서 linear scaling되지 않음. Scaling factor는 overlap, dependency, offcore latency 등에 따라 비선형적. Cache/prefetch + store + demand-read 효과가 혼재(stall metric은 이들을 conflate)되어 개별 component 분해 불가.
1. Reactive tiering (Nomad, Memtis, TPP, Pond, Kleio, ArtMem) — 성능 저하 감지 후 migration하는 trial-and-error 방식. Migration overhead + degradation exposure. ML 기반 시스템도 placement impact를 a priori로 예측하는 명시적 모델 부재.
1. Interleaving — DRAM:CXL 최적 비율 탐색에 exhaustive search 필요. Caption은 coarse-grained probing만 수행. Bandwidth-bound는 interleaving 이득, latency-bound는 손해 — 사전 판별 불가.

Melody와의 차별점 (Table 2)

Melody [36]는 slowdown을 세 component로 분해하는 attribution 도구: DRAM + CXL 양쪽 실행 필요. CAMP는 DRAM-only execution만으로 세 component 모두 예측 — attribution에서 prediction으로 전환.

	CAMP	Melody	SoarAlto
목적	Prediction	Attribution	Tiering
입력	DRAM (+CXL for BW-bound)	DRAM + CXL	Live system
커버리지	S_DRd, S_Cache, S_Store	All 3 (post-hoc)	S_DRd only
Pearson	0.97	N/A	0.88
Interleaving	✓	✗	✗

설계/메커니즘

핵심 통찰: Microarchitectural Pressure Points

CXL slowdown은 memory device의 opaque property가 아니라 CPU 내부의 구조적 bottleneck에서 latency 증가가 stall cycle로 전환되는 predictable consequence. DRAM 실행에서도 이 bottleneck의 "fingerprint"가 노출됨:

(a) Latency–MLP dynamics → S_DRd: DRAM에서 L/MLP ratio가 높은 workload는 CXL에서 수요 읽기 stall이 크게 증폭.
(b) Fill buffer pressure → S_Cache: LFB(Line Fill Buffer) / SQ(SuperQueue) 의존도가 높으면 prefetch timeliness 저하로 cache stall 증가.
(c) Store buffer occupancy → S_Store: SB full cycle 빈도가 높으면 CXL의 RFO latency 증가가 serialization bottleneck으로 전환.
(d) MLP invariance → interleaving 곡선: MLP는 interleaving ratio에 따라 거의 변하지 않음 (ILP + hardware buffer 크기에 종속, memory contention에 무관).

### 1. Demand-Read Slowdown (S_DRd) 예측 (§4.1)

Strawman: 단순 latency 증가 모델 (실패)
단순히 R_Lat만으로 slowdown 추정 시 Figure 4a 녹색선 — 실제 S_DRd와 큰 편차.
MLP 증가에 의한 latency hiding 효과 무시.
Strawman: 단순 ΔC 기반 (불충분)
Memory-active cycle 증가(ΔC)만 보면 MLP 변화에 따른 hiding 효과를 구분 불가.

CAMP의 모델:

Step 1: Little's Law 적용. Memory-active cycles C는:

- C = N × L / MLP                          (Eq. 3)

N: data request 수
L: access latency
MLP: memory-level parallelism

Step 2: Transfer function 유도. Scaling ratio 정의: - R_Lat = L_CXL / L_DRAM (≈140–180% for 78% workloads, idle ratio 156%) - R_MLP = MLP_CXL / MLP_DRAM (12% workload만 10% 초과 증가) - R_N = N_CXL / N_DRAM (≈1.0, 95%+ workload에서 request 수 안정)

R_N ≈ 1이므로:

- S_DRd ≈ (R_Lat / R_MLP - 1) × C_DRAM / c    (Eq. 4)

c: total execution cycles
R_Lat/R_MLP - 1: unhidden latency growth
MLP가 latency 증가를 완전히 absorb하면 slowdown 0
Step 3: R_Lat/R_MLP 예측. DRAM baseline metric만으로는 R_Lat, R_MLP 직접 측정 불가.

Figure 4f: (R_Lat/R_MLP - 1) vs baseline L_DRAM/MLP_DRAM 관계 → hyperbolic pattern 발견:

High L/MLP region: MLP 낮아 serialized execution → scaling factor ≈ raw R_Lat
Low L/MLP region: MLP 높아 latency tolerance 높음 → scaling factor dominated by R_MLP

Hyperbolic 모델:

- R_Lat/R_MLP ≈ 1 + 1/(p + q × L_DRAM/MLP_DRAM)

p, q: platform-specific 상수 (microbenchmark calibration)

Step 4: 최종 predictor. s_LLC (L3 miss stall cycles)를 C_DRAM의 proxy로 사용 (50–70% coverage, Figure 4b):

- S_DRd ≈ k_drd × (1/(p + q × L_DRAM/MLP_DRAM)) × s_LLC/c   (Eq. 5)

k_drd: platform-specific scaling constant (calibration)

Concrete execution example: - DRAM: L=90ns, MLP=3 → L/MLP=30 - CXL latency ratio idle: 156% (214ns/90ns ≈ 2.38×) - Workload A (L/MLP high, e.g., 50): R_MLP ≈ 1.05, R_Lat ≈ 1.50 → R_Lat/R_MLP ≈ 1.43 → S_DRd ≈ 0.43 × C_DRAM/c - Workload B (L/MLP low, e.g., 5): R_MLP ≈ 1.35, R_Lat ≈ 1.60 → R_Lat/R_MLP ≈ 1.19 → S_DRd ≈ 0.19 × C_DRAM/c

SoarAlto AOL과의 관계: SoarAlto는 L/MLP(=AOL)을 경험적으로 발견. CAMP는 Little's Law에서 인과적으로 유도 — AOL이 단순 상관feature가 아니라 latency/MLP scaling을 추론하는 핵심 factor임을 이론적으로 입증.

### 2. Cache/Prefetch Slowdown (S_Cache) 예측 (§4.2)

Strawman: 단순 L1/L2 miss count (실패)
CXL latency에서 prefetcher behavior 자체가 변화 — L2 prefetcher가 CXL latency를 cover하지 못함.
L1 prefetcher가 L2를 bypass하여 memory로 직접 요청 → LFB occupancy 증가 → L1D hit ↓, LFB hit ↑.

CAMP의 모델:

메커니즘 분석 (Figure 5): - CXL에서 L1 prefetch L3 miss 증가 ↔ LFB hit 증가 (Figure 5a, correlation) - LFB hit ↑ ↔ L1D hit ↓ (Figure 5b, backpressure) - LFB hit ratio 높은 workload일수록 S_Cache 큼 (Figure 5c)

Signal #1: LFB hit ratio (R_LFB-hit)

- R_LFB-hit = LFB-hits / (LFB-hits + L1D-misses)   (Eq. 6 전단계)

Streaming pattern 및 LFB 의존도 반영
High ratio → LFB 기반 delivery 의존 → vulnerability to prefetch delay

Signal #2: Prefetch-from-memory reliance (R_Mem)

- R_Mem = L1PF-from-Memory / Total LFB Allocations

LFB 할당 중 memory prefetch 비율
High R_Mem → memory latency에 민감

최종 predictor:

- S_Cache ≈ k_cache × R_LFB-hit × R_Mem × s_Cache/c   (Eq. 6)

s_Cache: cache stall cycles (DRAM baseline)
k_cache: platform-specific constant

PMU 근사: Intel PMU에 LFB allocation source 추적 기능 부재. SPR/EMR에서: - R_Mem ≈ (PF_L1D.ANY_RESPONSE - PF_L1D.L3_HIT) / PF_L1D.ANY_RESPONSE (SKX) - R_Mem ≈ UNC_CHA_LLC_LOOKUP.PF_RD / UNC_CHA_LLC_LOOKUP.ALL × TOR_INS.IA_PREF / (TOR_INS.IA_PREF + TOR_INS.IA_HIT_PREF) (SPR/EMR)

### 3. Store Slowdown (S_Store) 예측 (§4.3)

메커니즘: RFO serialization
모든 store는 RFO(Read-for-Ownership)로 exclusive cacheline ownership 획득 필요
CXL에서 RFO latency 2–3× 증가
SB(Store Buffer) entry는 RFO 완료까지 해제 불가 → core issue rate > retire rate
SB full → pipeline backpressure → 모든 instruction retirement block (독립적 read 포함)
"Asynchronous" store → "synchronous" stall로 전환
Strawman: write count 기반 (실패)
단순 store instruction 수는 SB drain rate (RFO latency 의존) 무시.

CAMP의 predictor:

- S_Store ≈ k_store × s_SB / c                     (Eq. 7)

s_SB: SB full stall cycles (PMU counter P6: BOUND_ON_STORES)
k_store: platform-specific constant (Memset microbenchmark로 calibration)
Linear 관계: RFO latency 증가가 SB full duration을 비례적으로 연장

### 4. Interleaving Performance Synthesis (§5)

Characterization (Figure 9): 101개 ratio (100:0 ~ 0:100)에 걸쳐 100+ workload profiling:

Latency-bound (linear response): e.g., rangeQuery2d. Bandwidth 여유 → slowdown은 CXL 비율에 선형 비례.
Bandwidth-bound (convex "bathtub" curve): e.g., 649.fotonik3d, 654.roms. 특정 optimal ratio에서 aggregate bandwidth gain > CXL latency penalty → pure DRAM보다 성능 향상 가능.
Key observation: MLP Invariance (§5.2.1, Figure 10b)
MLP는 interleaving ratio 변화에 따라 ≤5% fluctuation
원인: MLP는 core의 LFB/SQ 크기 + program dependency에 종속, memory contention에 무관
88% workload: MLP_CXL/MLP_DRAM 증가 10% 미만, 76%는 5% 미만

Latency 곡선 모델링 (§5.2.2, Eq. 8):

- L(x') = L_idle + (L_full - L_idle) × x'²           (Eq. 8)

x': tier의 effective load share (≈ footprint fraction)
L_idle: unloaded latency (Intel MLC 측정, e.g., DRAM 90ns, CXL 214ns)
L_full: full load latency (workload endpoint 실행 측정)
Quadratic form: queue buildup의 super-linear 특성 근사

Load Scaling Factor (§5.2.3, Eq. 9):

- M(x') = x' × [L_idle + (L_full - L_idle) × x'²] / L_full   (Eq. 9)

Cycles ∝ Load × Latency 원리
No contention (L_full ≈ L_idle): M(x') ≈ x' (linear)
High contention (L_full ≫ L_idle): cubic term (x'³) dominant → super-linear gain

Unified Predictor (§5.2.4, Eq. 10):

- S(x) ≈ [M(x) × s_DRAM + M(1-x) × s_CXL - s_DRAM] / c    (Eq. 10)

x: DRAM footprint fraction
s_DRAM, s_CXL: 각 slowdown component의 endpoint stall cycles (s_LLC, s_Cache, s_SB)
c: DRAM baseline total cycles
Overall S(x) = S_Drd(x) + S_Cache(x) + S_Store(x)

Profiling Workflow (Figure 12): - 1. Latency-bound (1 run): DRAM latency ≈ L_idle_DRAM (within τ=5%). CXL stall을 §4 모델로 예측 → linear interpolation. - 2. Bandwidth-bound (2 runs): DRAM latency > L_idle. DRAM + CXL endpoint 실행 → Eq. 10으로 full curve 합성.

### 5. PMU Counter Mapping (Table 5)

PMU #	Name	용도
P1	STALLS_L1D_MISS	S_Cache 계산 (SKX)
P2	STALLS_L2_MISS	S_Cache 계산
P3	STALLS_L3_MISS	S_DRd: s_LLC proxy
P4	L1_MISS	R_LFB-hit 계산
P5	LFB_HIT	R_LFB-hit 계산
P6	BOUND_ON_STORES	S_Store: s_SB
P7	PF_L1D.ANY_RESPONSE	R_Mem 계산
P8	PF_L1D.L3_HIT	R_Mem 계산 (제외)
P9	PF_L2.ANY_RESPONSE	유도 과정용 (최종 모델에서 cancel)
P10	PF_L2.L3_HIT	유도 과정용
P11	ORO.DEMAND_RD	유도 과정용
P12	OR.DEMAND_RD	R_Lat/R_MLP 계산
P13	ORO.CYC_W_DEMAND_RD	L/MLP 계산
P14	LLC_LOOKUP.PF_RD	R_Mem 근사 (SPR/EMR)
P15	LLC_LOOKUP.ALL	R_Mem 근사 (SPR/EMR)
P16	TOR_INS.IA_PREF	R_Mem 근사 (SPR/EMR)
P17	TOR_INS.IA_HIT_PREF	R_Mem 근사 (SPR/EMR)

SKX: 11 counters (P1–P8, P12–P13 + cycle counter). SPR/EMR: 12 counters.

### 6. Best-shot Interleaving Policy (§6.1)

Algorithm: - ``` - Input: workload W, DRAM tier, CXL tier - Output: optimal interleaving ratio x*

1. Profile W on DRAM-only → L_DRAM, MLP_DRAM, s_LLC, s_Cache, s_SB
1. If L_DRAM ≤ L_idle_DRAM × 1.05:
Predict CXL stalls via §4 models
S(x) = linear interpolation between endpoints Else:
Profile W on CXL-only → L_CXL, MLP_CXL, s_LLC_CXL, etc. For each component comp ∈ {DRd, Cache, Store}:
Compute M_DRAM(x), M_CXL(1-x) via Eq. 9 S_comp(x) via Eq. 10 S(x) = Σ S_comp(x)
1. x* = argmin_x S(x) (grid search over 100 ratios, or analytical)
2. Return x* ```
Concrete example (654.roms, 8-thread, Figure 11, Figure 15):
DRAM-only latency: ~140ns (L_idle_DRAM ≈ 90ns → bandwidth-bound 감지)
CXL-only latency: ~230ns
Best-shot predicts x* ≈ 62:38 (DRAM:CXL)
Colloid: latency equalization → DRAM 168ns, CXL 189ns → aggressive DRAM migration → contention ↑ → Best-shot 대비 21% 성능 저하

평가

Methodology Overview

Interleaving	20 bandwidth-bound workloads (SPEC CPU 2017 + Llama), 101 ratios (100:0 ~ 0:100)

Per-Metric Breakdown

Overall Prediction Accuracy (Table 6, Figures 7–8):

Configuration	Pearson r	≤5% Error	≤10% Error
NUMA (SKX)	0.965	88.4%	97.3%
CXL-A	0.919	88.7%	94.3%
CXL-B	0.963	77.8%	90.7%
CXL-C	0.940	92.4%	96.2%

→ CXL-B 낮은 accuracy 원인: device tail latency variance가 큼 (Melody 보고). CXL-C는 CXL-A 대비 2× bandwidth 제공, CXL-B는 CXL-A 대비 27% 높은 latency — 재캘리브레이션 없이도 정확히 예측.

Per-Component Accuracy (Figure 6):

Component	≤5% Error
S_DRd	NUMA/CXL-A/CXL-C: 92–94%, CXL-B: 78.7%
S_Cache	All devices: 93–97%
S_Store	All devices: 93–97%

Best-shot vs Baselines (Figure 15):

8개 bandwidth-bound workload에 대한 DRAM-only 대비 정규화 성능 (높을수록 좋음):

Policy	vs Best-shot Gap
Interleave 1-1	최대 10% 낮음
Caption	최대 5% 낮음
First-touch	최대 21% 낮음
NBT	최대 17% 낮음
Colloid	최대 21% 낮음
Alto	최대 17% 낮음
Soar	최대 17% 낮음

Colocation Results (Figure 16):

Scenario	Camp vs MPKI
gpt-2 + xsbench	Camp 12.2% 성능 우위
gpt-2 + 557.xz	Camp 11.6% 성능 우위
gpt-2 + tc-road	Camp 10% 성능 우위

MPKI 역전 사례: gpt-2 (low MPKI, high slowdown) vs tc-road (high MPKI, low slowdown). MPKI는 latency tolerance와 interference 영향 포착 실패.

Ablation / Outlier Analysis (§4.4.4)

Misprediction 원인 3가지:

1. Tail latency noise (underestimation): Irregular access pattern (e.g., pr-twitter graph analytics). CXL device tail latency가 mean에서 크게 벗어날 때. CXL-A/B에서 가장 두드러짐.
1. Hyper-parallelism (overestimation): Extreme MLP workload (e.g., pr-kron). 평균 MLP metric이 포착 못하는 non-linear overlap scaling 발생.
1. Instrumentation blindspots: SPR/EMR에서 "L1 prefetch that hits L2" counter 부재 → offcore proxy 사용 → 복잡한 mid-level cache behavior workload에서 S_Cache 오차 발생.

Dynamic prediction (Figure 8): tc-kron workload의 초당 time-series prediction이 실제 slowdown과 높은 일치 — phase 변화에도 causal model이 순간적으로 유효.

Interleaving Prediction Accuracy (Figure 14):
20개 workload 중 90%가 ≤5% absolute slowdown error
Predicted optimal ratio ≈ oracle optimum, 달성 성능은 practically identical

구현

Codebase 규모 및 구조

Component	규모
PMU counter collection	Linux `perf` 기반, sampling overhead negligible
One-time calibration suite	4개 microbenchmark: Pointer Chasing (pure latency), Sequential Reads (MLP), Strided Access (prefetch), Memset (SB)
Core prediction models	Eq. 5, 6, 7, 8, 9, 10 — closed-form, 실시간 계산
Best-shot policy	100-point grid search 또는 analytical 최적화
Colocation scheduler	Camp 예측 기반 greedy placement

Frameworks: Linux perf_event_open, Intel MLC (Memory Latency Checker) for idle latency measurement. CXL memory는 OS에서 daxctl/ndctl로 노출되는 devdax 또는 system-ram 모드 사용.

Custom 구현: PMU counter formula translator (SKX vs SPR/EMR counter name/semantic 차이), weighted interleaving via MPOL_WEIGHTED_INTERLEAVE (Linux 6.6+).

Platform-specific calibration 상수: p, q (Eq. 5), k_drd, k_cache, k_store (Eq. 5–7) — 각 CPU microarchitecture당 1회 calibration, microbenchmark 4종으로 도출.

결론/Takeaway

Core Contributions

1. Attribution → Prediction 전환: CXL slowdown을 사후 설명이 아닌 사전 예측 대상으로 재정의. DRAM-only execution만으로 91–97% 정확도 달성.
1. Causal microarchitectural modeling: slowdown을 demand-read, cache/prefetch, store의 3개 orthogonal component로 분해하고, 각각을 LFB/SB/MLP 같은 microarchitectural pressure point에서 유도. 12개 이하의 PMU counter만 사용.
1. Theoretical grounding: SoarAlto의 AOL metric이 단순 empirical correlation이 아니라 Little's Law에 기반한 latency tolerance의 필연적 결과임을 수학적으로 증명.
1. Closed-form interleaving model: MLP invariance 원리를 활용, 최대 2회 profiling으로 모든 DRAM–CXL ratio에 대한 performance curve 합성. 기존 exhaustive search 대체.
1. Practical system policies: Best-shot interleaving → 기존 tiering 대비 최대 21% 성능 향상. Camp-guided colocation → MPKI 기반 대비 최대 12% 성능 향상.

Broader Significance

Heterogeneous memory의 근본적 재해석: 성능 예측 문제를 device 특성이 아닌 CPU pipeline bottleneck의 predictable consequence로 봄.
Hardware-grounded interpretable model: Black-box ML 없이 물리적 메커니즘 기반 — 모든 예측이 traceable. 새로운 architecture로 확장 시 PMU counter 매핑만 필요.
NUMA에서도 0.97 Pearson → CXL을 넘어 범용 memory system observability로 확장 가능성.
오픈소스: benchmarks, datasets, policies 공개 (github.com/MoatLab/CAMP).

한계 및 Future Work

Bandwidth saturation regime 미모델링 — saturation 시 비선형 latency inflation이 세 component 모두를 증폭시키나, non-bandwidth-bound DRAM 측정만으로 추론 불가능.
Weighted interleaving에 한정 — first-touch, migration-driven tiering으로 확장 필요.
Cross-tier interference, non-uniform phase behavior 모델링 필요.
AMD/ARM PMU 확장 가능하나 아직 검증되지 않음.

Ryotta's Paper Summaries

Upload Paper