🧠 Accelerator

AI 컴파일러 기술

개요

AI 컴파일러의 핵심 기술은 그래프 최적화(Graph Optimization), 커널 융합(Kernel Fusion), 자동 튜닝(Auto-Tuning)으로 대별된다. 그래프 최적화는 연산 그래프의 구조적 특성을 활용해 불필요한 연산을 제거하거나 연산 순서를 재배치하여 실행 효율을 높인다. 커널 융합은 여러 연산을 하나의 GPU 커널로 합쳐 메모리 대역폭 사용을 줄이고, 자동 튜닝은 하드웨어 특성에 맞는 최적의 타일링·반복문 전개·벡터화 전략을 탐색한다.

최근에는 MLIR(Multi-Level Intermediate Representation) 기반 컴파일러가 주류를 이루고 있다. MLIR은 다중 수준 IR을 통해 그래프 수준 최적화부터 하드웨어 특화 커널 생성까지 단계적·모듈적으로 최적화를 수행할 수 있게 한다. TVM, XLA, IREE, Torch-MLIR 등 주요 프레임워크가 MLIR을 채택하거나 MLIR과 호환되는 IR을 사용하고 있다.

핵심 개념

그래프 최적화 (Graph Optimization)

그래프 최적화는 모델의 연산 그래프를 분석하여 실행 효율을 높이는 최적화 기법이다.

최적화 기법	설명	효과
상수 폴딩	컴파일 시점에 상수 연산 미리 계산	런타임 연산 감소
불필요 연산 제거	출력에 영향 없는 연산 그래프에서 제거	연산 횟수 감소
상수 전파	상수 값을 연산으로 대체	메모리 접근 감소
연산 재배치	의존성이 없는 연산의 실행 순서 변경	병렬성 향상
시행 분석	반복 가능한 연산을 한 번만 수행하도록 최적화	중복 연산 제거

그래프 최적화 파이프라인 예시:

입력 그래프 → 상수 폴딩 → 불필요 연산 제거 → 연산 융합 → 메모리 레이아웃 최적화 → 출력

커널 융합 (Kernel Fusion)

커널 융합은 여러 독립적인 연산을 하나의 GPU 커널로 결합하여 메모리 접근 횟수를 줄이는 핵심 최적화 기법이다.

융합 전략:

전략	설명	적용 조건
카테고리 융합	동일 유형 연산 결합	같은 연산자, 순차 실행
수직 융합	레이어 간 결합	출력-입력 연결
수평 융합	동일 입력 공유 연산 결합	병렬 실행 가능
재사용 융합	중간 결과 재사용 연산 결합	데이터 의존성 있음

융합 시 고려사항:
- 레지스터 사용량 증가 (Register Pressure)
- 공유 메모리 사용량 (Shared Memory Usage)
- 커널 복잡도 vs. 메모리 대역폭 절약 트레이드오프
- 하드웨어별 융합 가능성 제한

자동 튜닝 (Auto-Tuning)

자동 튜닝은 하드웨어 특성에 맞는 최적의 컴파일 설정을 자동으로 찾아내는 기법이다.

자동 튜닝 구성 요소:

요소	설명	예시
검색 공간	가능한 최적화 조합 정의	타일 크기, 반복문 순서
성능 모델	각 조합의 예상 성능 추정	로그 회귀 모델
실제 측정	후보 조합의 실제 실행 시간 측정	벤치마크 실행
최적 선택	최고 성능의 구성을 최종 선택	Pareto 최적 해

TVM MetaSchedule의 자동 튜닝 단계:
1. Trace 추출: TensorIR에서 스케줄링 가능 지점 식별
2. 스케줄링 공간 탐색: 다양한 스케줄링 전략 적용
3. 성능 측정: 각 전략의 실제 실행 시간 측정
4. 모델 학습: 측정 데이터로 성능 모델 학습
5. 최적 전략 선택: 학습된 모델 기반 최적 전략 결정

MLIR 기반 컴파일러 아키텍처

MLIR은 다중 수준 중간 표현을 통해 계층형 최적화를 가능하게 한다.

MLIR 다이어렉트 계층:

수준	다이어렉트	설명
고수준	StableHLO, TOSA	그래프 수준 추상화
중수준	Linalg, Tensor, MemRef	텐서/메모리 연산
저수준	LLVM, NVVM, ROCDL	하드웨어 특화

MLIR의 장점:
- 점진적 Lowering: 한 번에 모든 것을 변환하지 않고 단계적으로 변환
- 재사용 가능한 최적화: 여러 다이어렉트에서 공유되는 최적화 패스
- 확장성: 사용자 정의 다이어렉트 및 최적화 패스 추가 용이
- 다중 하드웨어 지원: 동일한 IR에서 다양한 타겟으로 코드 생성

비교/분석

주요 AI 컴파일러 기술 비교

기술	TVM	XLA	IREE	Torch-MLIR
그래프 최적화	Relax IR	HLO	StableHLO	TorchDynamo
커널 융합	TensorIR	XLA Fusion	Linalg Fusion	MLIR Fusion
자동 튜닝	MetaSchedule	없음	없음	없음
MLIR 사용	부분적 (TIRx)	부분적	핵심 기반	핵심 기반
하드웨어 지원	범용	TPU 중심	범용	범용

최적화 기법별 비교

기법	TVM	XLA	TensorRT	Glow
연산 융합	O (자체)	O (자체)	O (자체)	O (자체)
메모리 최적화	O	O	O	O
자동 튜닝	O (MetaSchedule)	X	X	X
동적 배치	O	O	O	O
정밀도 최적화	O	O	O (FP16/INT8)	O
희소성 최적화	O	O	O	O

컴파일러별 특화 분야

컴파일러	특화 분야	대표 사용 사례
TVM	범용, 자동 튜닝	다양한 하드웨어 배포
XLA	TPU 최적화	Google TPU 클러스터
TensorRT	추론 최적화	NVIDIA GPU 추론
IREE	엔드투엔드 MLIR	모바일/엣지 배포
Torch-MLIR	PyTorch 통합	PyTorch 모델 배포

동작 원리

TVM 컴파일러 기술 상세

1. Relax 그래프 최적화:

PyTorch 모델 → TorchDynamo → FX 그래프 → Relax IR
                                     ↓
                              그래프 최적화
                                     ↓
                              TensorIR 변환

2. TensorIR 스케줄링:
- 타일링(Tiling): 메모리 접근 패턴 최적화
- 반복문 전개(Unrolling): 병렬성 확보
- 벡터화(Vectorization): SIMD 명령어 활용
- 레지스터 할당: 레지스터 사용 최적화

3. 커널 코드 생성:

TensorIR → 스케줄링 적용 → 하드웨어별 커널 생성 (CUDA/OpenCL/LLVM)

XLA 컴파일러 기술 상세

1. HLO (High Level Optimizer):
- 그래프 수준 최적화 수행
- 연산 융합 및 메모리 최적화
- 하드웨어 특화 변환

2. Layout 최적화:
- 하드웨어에 최적된 데이터 레이아웃 결정
- TPU의 경우 2D 메모리 레이아웃 최적화

3. 코드 생성:
- TPU: XLA-specific HLO → TPU 커널
- GPU: HLO → CUDA/cuDNN 호출
- CPU: HLO → LLVM IR → 기계어

MLIR 기반 컴파일러 기술

1. 단계적 Lowering:

StableHLO (고수준) → Linalg (중수준) → Loop (중저수준) → LLVM (저수준)

2. 다이어렉트별 최적화:
- StableHLO: 그래프 수준 최적화, 연산 융합
- Linalg: 텐서 연산 최적화, 타일링
- Loop: 반복문 최적화, 벡터화
- LLVM: 하드웨어 특화 최적화, 레지스터 할당

3. 패턴 기반 변환:
- DRL (Declarative Rewrite Rule): 선언적 패턴 매칭 및 재작성
- Greedy Pattern Rewriting: 탐욕적 패턴 기반 최적화
- Multi-Lowering: 여러 수준에서의 점진적 변환

장단점

그래프 최적화 장단점

장점	단점
하드웨어 독립적 최적화	컴파일 시간 증가
모델 구조 기반 최적화	동적形状 지원 어려움
자동화된 최적화	디버깅 어려움

커널 융합 장단점

장점	단점
메모리 대역폭 절약	레지스터 압박 증가
커널 호출 오버헤드 감소	커널 복잡도 증가
캐시 효율 향상	하드웨어 제약 고려 필요

자동 튜닝 장단점

장점	단점
하드웨어 최적화 자동화	튜닝 시간 소요
전문 지식 불필요	검색 공간 크기 제한
재현 가능한 최적화	특정 하드웨어에 과적합

MLIR 기반 컴파일러 장단점

장점	단점
모듈화된 최적화 파이프라인	학습 곡선 높음
재사용 가능한 최적화 패스	생태계 아직 성숙 중
다중 하드웨어 지원	복잡한 IR 구조