Intel 3D Mesh

개요

Intel 3D Mesh는 Intel이 공개한 단일 제품명이나 고정된 ISA가 아니다. 이 문서에서는 Intel Mesh의 2D coherent fabric을 z축으로 확장한 3D mesh 분석 모델과, Intel이 실제로 공개한 Foveros 3D packaging 및 tile-based design을 연결해 설명한다. 3D mesh에서는 각 router가 north/south/east/west뿐 아니라 위/아래(up/down) 방향의 vertical link를 선택할 수 있다. 따라서 여러 active die 또는 logic layer에 배치된 core, cache, CHA, memory controller와 I/O agent를 한 fabric으로 연결할 수 있다.

Intel의 공개 자료는 Meteor Lake를 Foveros 3D packaging과 tile-based design으로 설명하고, Foveros Direct 3D는 direct copper-to-copper hybrid bonding을 제공한다고 설명한다. 그러나 공개 자료에서 특정 Intel CPU의 3D mesh router topology, vertical-link cycle latency, virtual channel(VC), buffer depth와 routing algorithm을 모두 확인할 수 있는 것은 아니다. 그러므로 Intel 3D Mesh라는 제목은 공개된 packaging 사실과 일반적인 3D NoC 설계 모델을 구분해서 읽어야 한다.

핵심 개념

1. 3D Mesh라는 이름의 범위

2D mesh는 한 평면의 row·column router를 연결한다. 3D mesh는 여기에 layer 좌표와 z방향 link를 더하지만, 3D stacking 자체가 곧 mesh라는 뜻은 아니다. 두 개의 die가 수직으로 연결되어도 point-to-point interconnect나 bus만 사용할 수 있고, packet router가 각 layer에 반복 배치되어야 3D mesh로 분석할 수 있다.

2. Intel 공개 사실과 분석 모델

Intel Mesh 문헌은 core, cache bank, memory controller, I/O controller와 CHA가 on-die fabric에 연결되는 구조를 설명한다. Foveros 자료는 서로 다른 die를 package 안에서 수직으로 결합하는 제조·interconnect 기술을 설명한다. 이 두 계층을 결합하면 layer 내부 mesh + layer 사이 vertical link + package boundary라는 모델을 만들 수 있다.

Foveros의 interconnect pitch는 물리적 접점 간격이지, CPU fabric의 packet bandwidth나 latency가 아니다. pitch가 작아졌다는 사실만으로 한 vertical hop이 몇 cycle인지 또는 전체 mesh 대역폭이 얼마인지 계산할 수 없다.

3. 3D router와 좌표

3D mesh 노드는 다음 좌표로 표현할 수 있다.

node = (layer, row, column)

내부 router는 보통 N/S/E/W/U/D 출력 중 목적지까지 남은 거리를 줄이는 출력을 선택한다. 모든 router가 같은 vertical port를 갖는 full 3D mesh도 가능하지만, 제조 면적과 TSV·bonding·power 제약 때문에 일부 위치에만 elevator를 두는 sparse 3D mesh도 가능하다.

full mesh의 이상적인 최소 hop은 다음처럼 쓸 수 있다.

h_min = |layer_s - layer_d|
      + |row_s - row_d|
      + |column_s - column_d|

이 식은 각 hop의 비용이 같다는 단순화다. 실제로는 horizontal router/link와 vertical link가 서로 다른 pipeline, width, queue와 retry를 가질 수 있다. sparse mesh에서는 source에서 가장 가까운 elevator까지의 x·y 경로와 destination layer의 elevator에서 home agent까지의 경로가 추가된다.

4. Vertical link의 물리적 구현

layer 사이의 신호는 구현에 따라 TSV, microbump, hybrid bonding 또는 package-level die-to-die interface를 통과할 수 있다. 물리적 연결과 논리적 fabric은 다음처럼 분리해야 한다.

1. Physical contact: TSV, bump, copper bond와 landing/keep-out 영역이 실제 전기 연결을 만든다.
2. PHY 또는 adapter: signal integrity, alignment, clock·power-domain crossing과 초기화를 처리한다.
3. Link layer: flit framing, credit, CRC·retry 또는 replay를 처리할 수 있다.
4. Router port: packet을 local layer 또는 다른 layer의 output 방향으로 전달한다.

Foveros 2.5D의 36 µm microbump와 Foveros Direct 3D의 sub-10 µm hybrid-bond pitch는 서로 다른 package 선택을 보여주는 예다. 이 수치를 Intel 3D mesh의 link width, frequency 또는 latency로 옮겨 적으면 안 된다. 또한 TSV 하나 = router hop 하나도 성립하지 않는다. 여러 vertical contact가 하나의 넓은 data path를 구성할 수 있고, 반대로 routing·power·test 제약으로 모든 router에 연결되지 않을 수 있다.

5. Layer별 자원 배치

3D stack에서는 기능을 어느 layer에 놓는지가 routing보다 먼저 결정될 수 있다. 상부 active die에 compute와 cache를 두고 하부 base die에 fabric·I/O·power delivery를 두는 구성이 한 가지 예지만, 실제 배치는 package, process, thermal budget과 제품 요구사항에 따라 달라진다.

패키지의 top/bottom 위치와 논리적인 near/far locality는 같은 개념이 아니다. layer가 가까워도 elevator queue 또는 remote CHA가 병목이면 end-to-end latency가 커질 수 있다. 반대로 layer 간 물리 거리가 멀지 않아도 vertical link의 serialization과 retry가 지배적일 수 있다.

6. Coherence home과 cache locality

3D layer 경계는 cache coherence 경계와 같지 않다. 각 layer의 CHA 또는 directory slice가 cache line home을 나눠 가질 수 있고, 한 layer의 core가 다른 layer의 home LLC를 조회할 수 있다. 요청은 다음 두 경우를 구분해야 한다.

Intel Mesh의 distributed directory는 out-of-tile access에서 CHA까지의 거리가 latency에 영향을 줄 수 있다. 3D로 확장하면 layer 선택과 vertical distance가 추가되므로 평균 UMA처럼 보이는 workload에서도 per-address 또는 per-home latency가 달라질 수 있다. 공개되지 않은 Intel home hash와 route를 물리적 인접성만으로 추정하지 말고 address sweep과 uncore counter로 검증해야 한다.

7. 열·전력·기계적 제약

3D stack의 가장 큰 차이는 같은 footprint에 전력을 더 넣을 수 있지만, 모든 active layer의 열이 같은 방향으로 빠지지 않는다는 점이다. 내부 layer 또는 base die 근처의 hotspot은 heat spreader까지의 thermal path가 길고, 온도 상승은 timing margin, leakage, reliability와 throttling에 영향을 준다.

열 모델은 단순히 vertical path가 짧으므로 빠르다고 결론 내리지 않는다. 3D NoC 연구들은 thermal distribution과 reliability를 traffic·router power와 함께 평가하며, thermal-aware mapping과 routing이 latency·energy·temperature 사이의 절충이 될 수 있음을 보여준다. 이 연구의 온도와 MTTF 수치는 Intel 제품 측정값이 아니라 특정 simulation 조건의 결과다.

8. Test와 fault containment

3D assembly는 die를 따로 테스트한 뒤 stack할 수 있다는 이점이 있지만, bonding 후에만 드러나는 vertical link·alignment·thermomechanical 문제도 있다. 따라서 설계 초기에 다음 관측 경로를 넣어야 한다.

• pre-bond die test와 known-good-die 선별
• boundary scan, die-to-die loopback과 vertical-link continuity
• layer별 BIST, router/VC fault injection과 post-bond test
• 온도·전압·link retry·corrected error telemetry
• elevator 고장 시 spare path 또는 해당 layer 격리
• coherence directory와 cache state의 reset·recovery 검증

하나의 vertical link failure가 해당 layer 전체를 고립시키는지, traffic을 우회할 수 있는지는 topology와 redundancy에 달려 있다. 논문이나 개념도에 fault tolerant라는 표현이 있어도 특정 Intel package가 동일한 spare link와 recovery protocol을 제공한다고 추정해서는 안 된다.

비교/분석

1. Planar Mesh, Tiled Mesh와 3D Mesh

3D Mesh는 Tiled Mesh의 단순한 위로 쌓은 버전이 아니다. Tiled Mesh의 핵심은 여러 physical tile을 package graph로 연결하는 것이고, 3D Mesh의 핵심은 각 layer에 반복 router를 두고 z방향 packet route를 제공하는 것이다. Foveros package가 3D라고 해서 내부 network가 3D mesh가 되는 것도 아니며, 3D mesh 연구 모델이 Intel의 Foveros implementation을 그대로 설명하는 것도 아니다.

2. Full Vertical Mesh와 Sparse Vertical Mesh

Sparse 구조에서 vertical link 수를 줄이면 물리적 비용은 줄어들지만, aggregate vertical bisection bandwidth도 함께 줄어든다. elevator를 가장 가까운 위치에 고정하는 deterministic route는 이해하기 쉽지만 특정 elevator에 hotspot을 만들 수 있다. adaptive route를 사용하면 congestion을 줄일 수 있는 대신 deadlock, ordering, thermal state와 route reproducibility를 검증해야 한다.

3. 지연·처리량 모델

cross-layer request의 지연은 다음처럼 분해하는 것이 안전하다.

L_total = L_injection
        + L_xy(source layer)
        + L_elevator_select
        + L_vertical_link
        + L_xy(destination layer)
        + L_CHA_or_memory_service
        + L_response
        + L_queue_retry

full 3D mesh를 단순화해 horizontal link capacity를 C_xy, vertical cut의 aggregate capacity를 C_z, service capacity를 C_service라고 하면 시스템 처리량의 상한은 다음과 같다.

B_system <= min(C_xy_cut, C_z_cut, C_service,
                sum of endpoint injection capacity)

여기서 C_z_cut은 특정 layer 사이를 가르는 모든 usable vertical link의 합이다. vertical link가 넓어도 destination CHA·memory controller가 하나라면 service가 먼저 포화된다. 반대로 각 layer의 local bandwidth가 충분해도 elevator가 적거나 특정 column에 traffic이 모이면 vertical cut이 병목이 된다.

4. 주소·스케줄링·열의 결합

3D 구조의 placement는 단순히 가장 가까운 core를 선택하는 문제가 아니다.

thread placement와 memory placement를 바꾸면 coherence traffic과 thermal map이 동시에 바뀐다. 따라서 CPU affinity, physical address mapping, layer home distribution, per-link utilization, temperature와 p99 latency를 한 실험에서 같이 기록해야 한다. 평균 latency만으로는 local hit 증가와 thermal throttling 증가가 서로 상쇄되는 현상을 발견하기 어렵다.

5. Intel-specific 수치와 모델 수치의 구분

동작 원리

1단계: Endpoint가 layer 안에서 요청 생성

core의 L1/L2에서 miss, write 또는 synchronization 요청이 발생하면 cache controller가 physical address, transaction type, ordering과 coherence 속성을 부여한다. 요청은 source layer의 ingress queue로 들어간다.

T0: core miss 감지
T1: source endpoint queue 삽입
T2: source layer router arbitration
T3: local service 또는 elevator 후보 선택

T0-T2는 core·cache와 source layer의 injection 비용이고, T3 이후가 layer boundary를 사용할지 판단하는 구간이다. 이를 한꺼번에 3D latency라고 부르면 vertical link가 실제 병목인지 확인할 수 없다.

2단계: Home layer와 destination agent 결정

주소 hash 또는 coherence directory는 요청의 home LLC slice·CHA·memory controller·I/O target을 결정한다. 개념적인 route 정보는 다음과 같다.

destination = {layer_id, row, column, agent_id, request_class}

route controller는 다음을 확인한다.

1. home agent가 source layer에 있는지 확인한다.
2. remote layer라면 사용 가능한 elevator와 vertical VC를 찾는다.
3. elevator의 credit, queue, thermal state와 traffic class를 확인한다.
4. ordering과 coherence class를 보존할 수 있는 route를 선택한다.
5. 선택된 path가 실패하거나 congestion이면 backpressure 또는 대체 경로를 적용한다.

Intel 제품별 home hash와 route state가 공개되지 않은 경우, 이 순서는 일반적인 3D NoC 분석 모델이다. physical proximity만 보고 home agent를 결정한다고 가정하면 분산 directory의 실제 traffic을 잘못 해석할 수 있다.

3단계: Source layer의 x·y traversal

source layer의 router는 destination 좌표 또는 elevator 좌표까지 x·y 방향으로 packet을 전달한다. full mesh라면 destination layer의 좌표를 직접 줄이는 경로가 가능하지만, sparse mesh라면 먼저 합법적인 elevator까지 이동해야 한다.

source core
  -> source ingress
  -> local router(s)
  -> local CHA / LLC       (same-layer service)
  -> selected elevator     (cross-layer service)

여러 core가 같은 elevator column을 공유하면 평균 layer utilization이 낮아도 해당 output queue가 먼저 포화될 수 있다. 따라서 layer 평균 busy cycle보다 elevator별 occupancy, VC별 credit과 backpressure를 확인해야 한다.

4단계: Vertical link와 layer boundary 통과

elevator adapter는 packet 또는 flit을 vertical link가 운반할 수 있는 interface로 넘긴다. 실제 경로는 구현에 따라 다음 기능을 포함할 수 있다.

• TSV·microbump·hybrid bond의 electrical contact
• lane grouping, alignment와 clock·power-domain crossing
• packet framing, credit·ready/backpressure
• CRC, retry·replay와 error containment
• power state, link training과 reset sequencing

vertical link의 width가 넓어도 한 cycle에 모든 cache line이 이동한다는 뜻은 아니다. packet header, flow control, serialization, arbitration과 return path가 함께 측정되어야 한다. 반대로 vertical link가 여러 contact로 구성된 wide bus라면 동일한 논리 hop에서 여러 flit을 병렬 전달할 수 있다.

5단계: Destination layer의 service

destination layer ingress는 layer ID를 제거하거나 local route 정보로 변환하고, destination row·column의 router로 packet을 보낸다. home CHA·LLC에 도달한 뒤에는 다음 동작이 가능하다.

1. home LLC가 hit이면 data와 cache permission을 반환한다.
2. 다른 layer의 cache가 최신 owner이면 snoop·ownership 요청과 forward를 수행한다.
3. cache에 없으면 memory controller 또는 I/O agent에 service를 요청한다.
4. 공유 line의 write이면 관련 layer로 invalidate와 acknowledgement를 보낸다.

이 과정에서 data payload, directory lookup, snoop, invalidate와 acknowledgement가 같은 link를 공유할 수 있다. coherence control traffic을 data bandwidth에서 빼지 않으면 cross-layer workload의 실제 병목을 과소평가한다.

6단계: 응답과 reverse path

data 또는 acknowledgement는 request ID와 ordering rule에 따라 source layer로 돌아온다. 응답이 원래와 동일한 elevator를 사용한다는 보장은 없으며, 별도의 reverse route나 traffic class를 사용할 수도 있다.

destination CHA / memory
  -> destination local router
  -> reverse elevator or link
  -> source local router
  -> source cache state update

관측에서는 다음 구간을 분리한다.

7단계: 열-aware runtime control과 검증

온도 센서가 특정 layer 또는 region의 hotspot을 보고하면 runtime scheduler나 fabric policy가 다음 중 하나를 수행할 수 있다.

• hot layer의 frequency·voltage를 낮추거나 traffic을 다른 elevator로 우회
• thread와 memory placement를 cooler layer 또는 local home으로 이동
• background scrub·prefetch·coherence-heavy task의 동시성을 제한
• vertical link retry와 corrected error가 증가한 path를 격리
• thermal emergency에서 특정 layer를 reset 또는 service-degraded mode로 전환

이러한 정책은 성능을 자동으로 개선하는 것이 아니다. 우회 route가 더 길어지거나 remote coherence traffic을 늘릴 수 있으므로 temperature, power, throughput, p99 latency와 error rate를 동시에 기록해야 한다.

검증 workload는 최소한 다음처럼 나눈다.

• same-layer local-only: vertical link를 거의 사용하지 않는 기준선
• adjacent-layer: 한 번의 vertical crossing을 주로 사용하는 경로
• far-layer: 여러 x·y hop과 vertical crossing을 함께 사용하는 경로
• uniform random: layer·home·elevator를 균등하게 섞는 부하
• elevator hotspot: 특정 vertical column과 CHA에 집중하는 부하
• coherence sharing: layer 간 ownership·invalidate가 많은 부하
• thermal stress: 높은 compute와 memory traffic을 일정 시간 유지하는 부하

각 실험에서 per-layer injection, horizontal·vertical link utilization, elevator queue, home distribution, snoop·invalidate ratio, temperature map, frequency throttling, p50/p95/p99 latency, delivered throughput, retry와 corrected error를 함께 수집한다.

장단점

선택과 검증 기준

• Intel의 공개 자료를 인용할 때는 Foveros 3D, Foveros Direct 3D, tile-based architecture와 3D mesh를 별도 용어로 쓴다.
• 3D mesh가 필요한지 판단할 때 평균 hop뿐 아니라 vertical bisection bandwidth, elevator utilization, p99 latency와 thermal headroom을 측정한다.
• layer별 home CHA·LLC·memory controller 배치가 실제 address hash와 일치하는지 controlled address sweep과 uncore counter로 확인한다.
• full vertical mesh와 sparse elevator mesh를 같은 link width·frequency·buffer 조건에서 비교한다.
• data payload와 snoop·invalidate·ownership·ack traffic을 분리해 coherence 비용을 계산한다.
• thermal-aware routing은 latency와 energy를 개선할 수 있지만, 우회 traffic과 thermal throttling이 만든 tail latency를 함께 기록한다.
• TSV·microbump·hybrid bond pitch를 router cycle 또는 sustained bandwidth로 변환하지 않는다.
• die별 pre-bond test와 post-bond vertical-link·coherence·thermal fault injection을 모두 계획한다.
• Intel의 특정 SKU에 공개되지 않은 U/D port, VC, buffer, route와 cache home hash를 확정 사실로 작성하지 않는다.

관련 기술

• CPU Fabric 아키텍처 개요: bus, ring, mesh, fabric과 chiplet의 구분
• CPU 인터커넥트 설계 지표: hop latency, bisection, congestion, QoS와 power 측정
• Intel Ring 인터커넥트: ring topology와 고코어 확장 병목
• Intel Mesh 인터커넥트: planar mesh, distributed LLC와 CHA
• Intel Tiled Mesh: package tile과 die-to-die boundary
• Intel Modular Mesh: local module과 global routing 계층
• 메모리 인터커넥트: NoC router, link와 flow control
• 캐시 일관성 프로토콜: snoop, directory와 MESI/MOESI message
• NUMA 아키텍처: local·remote memory locality
• 전력 관리: frequency, power state와 thermal control
• UCIe 칩렛 인터커넥트: package-level die-to-die adapter와 3D 확장

참고 문헌 및 표준

1. Intel, Meteor Lake Architecture Overview: Meteor Lake의 Foveros 3D packaging과 tile-based architecture.
2. Intel, Foveros 2.5D Product Brief: passive base die, active die와 36 µm F2F microbump pitch.
3. Intel, Foveros Direct 3D Technology Brief: direct copper-to-copper hybrid bonding과 sub-10 µm interconnect pitch.
4. Intel, Advanced Packaging: EMIB·Foveros를 포함한 Intel advanced packaging 개요.
5. Intel, Architecture Day 자료 모음: Intel의 core·tile·package architecture 공개 발표.
6. Steve Kommrusch et al., “Coherence Traffic in Manycore Processors with Opaque Distributed Directories”, arXiv:2011.05422, 2020: Intel Mesh의 tile, local cache, CHA와 distributed directory의 latency·traffic 분석.
7. Khanh N. Dang et al., “Report on power, thermal and reliability prediction for 3D Networks-on-Chip”, arXiv:2003.08648, 2020: 3D NoC의 thermal distribution, reliability와 thermal via 모델.
8. Biresh Kumar Joardar et al., “Learning-based Application-Agnostic 3D Network-on-Chip Design for Heterogeneous Manycore Systems”, IEEE Transactions on Computers, 2019: latency·throughput·temperature·energy를 함께 고려한 3D NoC design-space exploration.
9. Ebadollah Taheri et al., “AdEle: An Adaptive Congestion-and-Energy-Aware Elevator Selection for Partially Connected 3D NoCs”, DAC 2021: sparse vertical link에서 elevator selection과 congestion·energy trade-off.
10. Intel et al., Foveros 3D logic-on-logic reliability study, IRPS 2020: TSV 주변 strain과 transistor·interconnect·defect reliability 평가.
11. UCIe Consortium, UCIe Specifications: package-level die-to-die physical layer, adapter, manageability와 UCIe 3D.

핵심 정리

1. Intel 3D Mesh는 Intel의 공식 단일 제품명이 아니라, Intel Mesh의 2D coherent fabric, Foveros 3D package와 일반 3D NoC 모델을 연결해 분석하는 주제명이다.
2. 3D mesh의 packet path는 source layer의 x·y mesh, elevator, destination layer의 x·y mesh와 CHA·memory service로 나뉘며, vertical link는 단순한 on-die hop과 같은 비용이 아니다.
3. Foveros의 microbump 또는 hybrid-bond pitch는 physical contact 밀도이며, Intel CPU의 router cycle, VC, buffer와 sustained bandwidth를 직접 의미하지 않는다.
4. z축은 wire distance와 bandwidth density에 유리할 수 있지만, elevator·vertical cut, coherence traffic, power delivery와 내부 layer thermal hotspot을 새로 만든다.
5. 설계 평가는 layer locality와 throughput만이 아니라 vertical utilization, temperature·throttling, p99 latency, retry·reliability와 post-bond test를 함께 측정해야 한다.