ROCm 상세

개요

ROCm(Radeon Open Compute)은 AMD가 2016년에 도입한 오픈소스 GPU 컴퓨팅 플랫폼으로, AMD Instinct 데이터센터 GPU와 Radeon GPU에서 HPC(High Performance Computing) 및 AI 워크로드를 가속화하기 위한 소프트웨어 스택을 제공한다. ROCm은 주로 오픈소스 구성 요소로 구성되며, NVIDIA CUDA와 유사한 프로그래밍 모델인 HIP(Heterogeneous-compute Interface for Portability)를 통해 기존 CUDA 코드의 포팅을 지원한다.

ROCm의 핵심 설계 철학은 오픈소스 투명성과 하드웨어 이식성(portability)이다. 개발자는 ROCm을 통해 AMD GPU의 성능에 접근할 수 있으며, MIT 라이선스 기반의 오픈소스 라이브러리들을 활용하여 AI 추론/훈련, 과학 계산, 시뮬레이션 등 다양한 워크로드를 가속화할 수 있다. ROCm은 현재 MI250X(CDNA2), MI300X/MI300A(CDNA3), 그리고 최신 MI350(CDNA4) 아키텍처를 지원하며, PyTorch, TensorFlow, JAX 등 주요 머신러닝 프레임워크와의 통합을 지속적으로 확대하고 있다.

핵심 개념

ROCm 소프트웨어 스택 아키텍처

ROCm은 다층 계층 구조로 구성되어 있으며, 각 계층이 특정 역할을 수행한다:

HIP 프로그래밍 모델

HIP(Heterogeneous-compute Interface for Portability)는 ROCm의 핵심 프로그래밍 인터페이스로, CUDA C/C++과 유사한 구문을 제공하여 개발자가 손쉽게 AMD GPU에서 병렬 커널을 작성할 수 있게 한다.

HIP 커널 선언:

__global__ void myKernel(float* data, int n) {
    int idx = threadIdx.x + blockIdx.x * blockDim.x;
    if (idx < n) {
        data[idx] = data[idx] * 2.0f;
    }
}

// 커널 호출
hipLaunchKernelGGL(myKernel, dim3(gridSize), dim3(blockSize), 0, 0, d_data, n);

HIP 메모리 관리 API:

HIP 스레드 동기화:

ROCm 라이브러리 생태계

ROCm은 다양한 도메인에 특화된 라이브러리 세트를 제공한다:

수학 라이브러리:

딥 러닝 라이브러리:

통신 라이브러리:

컴퓨터 비전 라이브러리:

ROCm 개발 도구

ROCm은 개발, 디버깅, 프로파일링을 위한 다양한 도구를 제공한다:

컴파일 도구:

프로파일링 도구:

디버깅 도구:

ROCm 하드웨어 지원

ROCm은 여러 세대의 AMD GPU 아키텍처를 지원한다:

지원 운영체제:
- Linux: Ubuntu, RHEL, SLES, Oracle Linux, Debian, Rocky Linux
- Windows: HIP SDK (제한적 지원)
- Docker: 공식 ROCm 컨테이너 이미지 제공

비교/분석

ROCm vs CUDA 비교

ROCm 라이브러리 성능 비교

ROCm vs CUDA 포팅 예시

CUDA 코드:

__global__ void vectorAdd(float* a, float* b, float* c, int n) {
    int i = threadIdx.x + blockIdx.x * blockDim.x;
    if (i < n) c[i] = a[i] + b[i];
}

int main() {
    float *d_a, *d_b, *d_c;
    cudaMalloc(&d_a, n * sizeof(float));
    cudaMalloc(&d_b, n * sizeof(float));
    cudaMalloc(&d_c, n * sizeof(float));
    vectorAdd<<<grid, block>>>(d_a, d_b, d_c, n);
    cudaDeviceSynchronize();
}

HIP 코드 (변환 후):

__global__ void vectorAdd(float* a, float* b, float* c, int n) {
    int i = threadIdx.x + blockIdx.x * blockDim.x;
    if (i < n) c[i] = a[i] + b[i];
}

int main() {
    float *d_a, *d_b, *d_c;
    hipMalloc(&d_a, n * sizeof(float));
    hipMalloc(&d_b, n * sizeof(float));
    hipMalloc(&d_c, n * sizeof(float));
    hipLaunchKernelGGL(vectorAdd, dim3(grid), dim3(block), 0, 0, d_a, d_b, d_c, n);
    hipDeviceSynchronize();
}

hipify 자동 변환:

hipify-perl vectorAdd.cu -o vectorAdd.cpp
# 또는
hipify-cuda vectorAdd.cu --output-dir=hipified/

동작 원리

ROCm 스택 동작 흐름

1. 소스 코드 컴파일:
   - hipcc가 HIP/C++ 코드를 LLVM(clang) 기반으로 컴파일
   - AMDGPU 백엔드를 통해 AMD GPU 네이티브 ISA로 변환
   - HSA(Heterogeneous System Architecture) 호환 오브젝트 코드 생성

2. 런타임 로드:
   - HIP 런타임이 컴파일된 커널을 GPU 디바이스에 로드
   - ROCr(ROCR Runtime)가 HSA 커널 디스패치 인터페이스 제공
   - KFD(Kernel Fusion Driver)가 하드웨어 리소스 관리

3. 커널 실행:
   - GPU 스케줄러가 커널을 Compute Unit에 배치
   - Wavefront(64 스레드) 단위로 SIMD 실행
   - Matrix Core를 통한 행렬 연산 가속

4. 메모리 관리:
   - 가상 주소 공간 기반 메모리 관리
   - HMM(Heterogeneous Memory Management)을 통한 통일된 메모리 접근
   - 페이지 폴링을 통한 메모리 자동 마이그레이션

HIP 커널 실행 상세

AMD GPU의 CDNA 아키텍처에서 HIP 커널은 다음과 같이 실행된다:

Compute Unit (CU) 동작:
- 각 CU는 64개의 Stream Processor(SIMD32 x 2)를 가짐
- Wavefront 스케줄러가 여러 Wavefront를 동시에 스케줄링
- 메모리 지연 시간 숨김(latency hiding)을 위한 다중 Wavefront 활성화

메모리 접근 경로:
1. 레지스터 → Matrix Core/VALU → 공유 메모리(LDS)
2. 공유 메모리 → L2 캐시 → HBM
3. Infinity Fabric을 통한 원격 GPU 메모리 접근
4. HMM을 통한 CPU-GPU 통일 메모리 공간 접근

ROCm 컨테이너 및 배포

ROCm은 Docker 기반 배포를 권장하며, 공식 컨테이너 이미지를 제공한다:

# 공식 ROCm 컨테이너 이미지
docker pull rocm/rocm-terminal:latest
docker pull rocm/pytorch:latest
docker pull rocm/tensorflow:latest

# MI300X에서 PyTorch 실행
docker run -it --device=/dev/kfd --device=/dev/dri \
  --group-add video --cap-add SYS_PTRACE \
  rocm/pytorch:latest

장단점

장점

• 오픈소스 투명성: MIT 라이선스 기반 완전한 오픈소스로, 소스 코드 검증과 커스터마이징이 가능
• CUDA 호환성: HIP를 통한 높은 수준의 CUDA 호환성으로 기존 코드 포팅 용이
• 메모리 용량/대역폭: MI300X 192GB HBM3(5.3 TB/s) 등 AMD GPU의 높은 메모리 리소스 활용
• 비용 효율성: 라이선스 비용 없음, AMD GPU의 가성비 우위
• 지속적인 발전: ROCm 7.x까지 꾸준한 업데이트, MI350(CDNA4) 지원 준비
• 프레임워크 통합: PyTorch, TensorFlow, JAX 등 주요 프레임워크 공식 지원

단점

• 생태계 성숙도: CUDA 대비 10년 이상의 격차, 일부 라이브러리에서 성능 격차
• 도구 지원: Nsight, TensorRT 등 NVIDIA 고급 도구 대비 제한적
• 커뮤니티 규모: NVIDIA 대비 상대적으로 작은 개발자 커뮤니티
• 드라이버 안정성: 일부 환경에서 드라이버 이슈 보고
• 하드웨어 지원 범위: NVIDIA GPU 대비 상대적으로 제한된 GPU 라인업
• 프로덕션 검증: 대규모 프로덕션 배포 사례가 아직 축적 중

관련 기술

참고 표준 및 자료

• AMD ROCm Documentation (https://rocm.docs.amd.com)
• AMD HIP Programming Guide
• HSA (Heterogeneous System Architecture) Specification
• AMD Instinct MI300X Datasheet
• AMD CDNA Architecture Whitepaper
• LLVM AMDGPU Backend Documentation

관련 문서

• AMD GPU 상세
• CUDA 상세
• AI 소프트웨어 스택 개요
• AI 가속기 개요
• 혼합 정밀도 하드웨어
• 텐서 코어 아키텍처
• GPU 메모리 아키텍처 기초
• 추론 vs 훈련

핵심 정리

1. ROCm은 AMD의 오픈소스 GPU 컴퓨팅 플랫폼으로, HIP 프로그래밍 모델을 통해 CUDA 코드의 높은 호환성을 제공하면서도 AMD GPU의 하드웨어 이점을 활용할 수 있다.

2. ROCm 스택은 프레임워크-컴파일러-라이브러리-런타임-드라이버의 다층 구조로 구성되며, MIOpen, rocBLAS, RCCL 등 다양한 고성능 라이브러리를 통해 AI/HPC 워크로드를 가속화한다.

3. HIP는 CUDA C/C++과 유사한 구문을 제공하여 개발자가 손쉽게 기존 CUDA 코드를 AMD GPU로 포팅할 수 있게 하며, hipify 도구를 통한 자동 변환도 지원한다.

4. ROCm은 MI250X(CDNA2), MI300X(CDNA3), MI350(CDNA4) 등 여러 세대의 AMD Instinct GPU를 지원하며, PyTorch, TensorFlow, JAX 등 주요 머신러닝 프레임워크와의 통합을 지속적으로 확대하고 있다.

5. ROCm의 주요 강점은 오픈소스 투명성, CUDA 호환성, AMD GPU의 높은 메모리 용량/대역폭 활용이며, 생태계 성숙도와 도구 지원은 지속적으로 개선되고 있는 과제이다.