ExecuTorch Backend 상세

개요

ExecuTorch는 PyTorch가 개발한 온디바이스 AI 추론 프레임워크로, 스마트폰부터 마이크로컨트롤러까지 다양한 엣지 디바이스에서 AI 모델을 효율적으로 실행하기 위한 통합 솔루션이다. Meta의 Instagram, WhatsApp, Quest 3, Ray-Ban Meta 스마트글래스 등 수십억 사용자를 대상으로 한 프로덕션 환경에서 검증된 기술이다.

ExecuTorch는 세 가지 핵심 가치를 제공한다. 이식성(Portability): 고사양 모바일부터 제약된 마이크로컨트롤러까지 다양한 플랫폼에서 실행 가능하다. 성능(Performance): 경량 런타임으로 CPU, GPU, NPU, DSP 전체 하드웨어 가속을 지원한다. 생산성(Productivity): 모델 작성부터 배포까지 PyTorch 도구 체인을 그대로 활용할 수 있다.

ExecuTorch의 핵심은 백엔드(Backend) 시스템이다. 백엔드는 내보내기된 모델과 실제 하드웨어 사이의 다리 역할을 하며, 각 하드웨어 플랫폼에 맞는 가속화를 제공한다. PyTorch 모델을 torch.export()로 내보내면 .pte 파일로 변환되며, 이 과정에서 파티셔너(Partitioner)가 모델 그래프를 지원되는 서브그래프와 CPU 폴백으로 분할한다. 지원되지 않는 연산은 XNNPACK 같은 포터블 CPU 백엔드에서 실행되어 부분적 가속화가 가능하다.

핵심 개념

ExecuTorch 아키텍처

ExecuTorch는 AOT(Ahead-of-Time) 컴파일 방식을 사용하여 PyTorch 모델을 엣지 배포를 위해 준비한다:

지원 모델 타입

ExecuTorch는 다양한 AI 모델 타입을 지원한다:

백엔드 유형과 플랫폼 지원

ExecuTorch는 12개 이상의 하드웨어 백엔드를 지원한다:

딜리게이트와 파티셔닝

ExecuTorch의 핵심 메커니즘은 딜리게이트(Delegate) 시스템이다:

• 딜리게이트: 모델의 일부 서브그래프를 특정 하드웨어 백엔드에 위임하는 단위
• 파티셔너(Partitioner): 모델 그래프를 분석하여 어떤 서브그래프가 어떤 백엔드에서 실행될지 결정
• CPU 폴백: 백엔드가 지원하지 않는 연산은 XNNPACK CPU 백엔드에서 자동 실행

PyTorch 모델 → Export → 파티셔너 분석
                            ↓
                    ┌───────────────┐
                    │  GPU 서브그래프  │ → 백엔드 딜리게이트
                    │  CPU 서브그래프  │ → XNNPACK 폴백
                    └───────────────┘
                            ↓
                        .pte 파일

동작 원리

1단계: 모델 내보내기 (Export)

import torch
from executorch.exir import to_edge_transform_and_lower
from executorch.backends.xnnpack.partition.xnnpack_partitioner import XnnpackPartitioner

# 모델 정의
model = MyModel().eval()
example_inputs = (torch.randn(1, 3, 224, 224),)

# Export
exported_program = torch.export.export(model, example_inputs)

2단계: 엣지 변환 및 하드웨어 할당

# 백엔드 선택 (한 줄 변경으로 하드웨어 전환 가능)
program = to_edge_transform_and_lower(
    exported_program,
    partitioner=[XnnpackPartitioner()]  # CPU
    # partitioner=[CoreMLPartitioner()]  # iOS
    # partitioner=[QnnPartitioner()]     # Qualcomm
).to_executorch()

3단계: 디바이스에서 실행

C++ 런타임:

#include <executorch/extension/module/module.h>
#include <executorch/extension/tensor/tensor.h>

Module module("model.pte");
auto tensor = make_tensor_ptr({2, 2}, {1.0f, 2.0f, 3.0f, 4.0f});
auto outputs = module.forward(tensor);

Swift (iOS):

import ExecuTorch

let module = Module(filePath: "model.pte")
let input = Tensor<Float>([1.0, 2.0, 3.0, 4.0], shape: [2, 2])
let outputs = try module.forward(input)

Kotlin (Android):

val module = Module.load("model.pte")
val inputTensor = Tensor.fromBlob(floatArrayOf(1.0f, 2.0f, 3.0f, 4.0f), longArrayOf(2, 2))
val outputs = module.forward(EValue.from(inputTensor))

LLM 추론 예시

Llama 모델 같은 대규모 언어 모델도 지원한다:

# 모델 내보내기
python -m executorch.extension.llm.export.export_llm --model llama3_2 --output llama.pte

# C++에서 실행
#include <executorch/extension/llm/runner/text_llm_runner.h>

auto runner = create_llama_runner("llama.pte", "tiktoken.bin");
executorch::extension::llm::GenerationConfig config{
    .seq_len = 128, .temperature = 0.8f};
runner->generate("Hello, how are you?", config);

비교/분석

기존 엣지 추론 프레임워크와 비교

런타임 비교

장단점

장점

1. PyTorch 네이티브: .onnx, .tflite 같은 중간 포맷 변환 불필요, 모델 의미 보존
2. 프로덕션 검증: Meta에서 수십억 사용자를 대상으로 검증됨
3. 초경량 런타임: 50KB 베이스 크기로 마이크로컨트롤러까지 지원
4. 하드웨어 유연성: 12개 이상 백엔드 지원, 한 줄 변경으로 하드웨어 전환
5. LLM 특화: Llama, Qwen 등 대규모 언어 모델 최적화 지원
6. 양자화 통합: torchao를 통한 8비트, 4비트, 동적 양자화 지원

단점

1. CUDA 백엔드 실험적: NVIDIA GPU 지원이 아직 실험 단계
2. 학습 미지원: 추론 전용, 학습은 PyTorch에서 별도 처리 필요
3. 새로운 생태계: TensorFlow Lite, ONNX Runtime에 비해 커뮤니티/라이브러리가 작음
4. 하드웨어별 최적화 필요: 각 백엔드마다 별도의 파티셔너/최적화 설정 필요

관련 기술

참고 문헌

• ExecuTorch 공식 문서
• PyTorch GitHub - ExecuTorch
• ExecuTorch: A Unified PyTorch Solution to Run AI Models On-Device (arXiv:2605.08195)
• Meta Engineering Blog - ExecuTorch

핵심 정리

1. ExecuTorch는 PyTorch의 온디바이스 AI 추론 프레임워크로, Export-Compile-Execute 3단계 AOT 컴파일 방식을 사용한다.
2. 12개 이상의 하드웨어 백엔드를 지원하며, 파티셔너를 통해 모델 그래프를 가속기와 CPU 폴백으로 분할한다.
3. ~50KB의 초경량 런타임으로 마이크로컨트롤러부터 스마트폰까지 폭넓은 디바이스를 지원한다.
4. Meta의 프로덕션 환경에서 수십억 사용자를 대상으로 검증된 안정적인 기술이다.
5. 한 줄 변경으로 하드웨어 타겟을 전환할 수 있는 유연한 백엔드 아키텍처를 제공한다.
6. LLM, CV, ASR, TTS 등 다양한 모델 타입을 지원하며, 이식성/성능/생산성 세 가지 핵심 가치를 추구한다.