---

title: 벡터/SIMD 아키텍처
date: 2025-06-26
category: arch
tags: [SIMD, vector, AVX, NEON, SVE, GPU-SIMD, RISC-V-V, SIMD-instructions]

---

벡터/SIMD 아키텍처 (Vector/SIMD Architecture)

개요

벡터 처리(Vector Processing)와 SIMD(Single Instruction, Multiple Data)는 하나의 명령어로 여러 데이터 요소를 동시에 연산하는 병렬 처리 기법이다. SIMD 아키텍처는 프로세서 내의 넓은 레지스터에 여러 데이터 요소를 묶어(pack) 병렬로 사칙연산, 비교, 시프트 등의 연산을 수행한다. 이를 통해 같은 명령어 스트림에서 처리량(throughput)을 레지스터 폭에 비례하여 높일 수 있다.

현대 프로세서에서 SIMD는 필수적인 기능이다. Intel/AMD x86의 SSE/AVX, ARM의 NEON/SVE, RISC-V의 V Extension, 그리고 GPU의 SIMT 모델은 모두 SIMD 개념을 기반으로 한다. SIMD는 수치 해석, 이미지/영상 처리, 머신러닝 추론, 암호화, 신호 처리 등 대량 데이터를 반복 처리하는 워크로드에서 수 배에서 수십 배의 성능 향상을 제공한다. 최근에는 AMX(Advanced Matrix Extensions), Tensor Core, FMMLA 등 매트릭스 연산 전용 유닛으로 발전하여 딥러닝 워크로드를 더욱 가속화한다.

---

핵심 개념

SIMD 아키텍처 분류

벡터/SIMD 아키텍처는 레지스터 폭의 고정 여부와 프로그래밍 모델에 따라 크게 네 가지로 분류할 수 있다:

SSE/AVX (x86 SIMD)

x86 SIMD는 1999년 SSE로 시작하여 20년 이상 진화해왔다.

SSE 계보

AVX 계보

AVX-512는 EVEX 인코딩을 도입하여 4-operand 형식(dest, src1, src2, mask), 임베디드 브로드캐스팅, 임베디드 라운딩 컨트롤, 압축 디스플레이스먼트 주소 지정을 지원한다. k0-k7 오퍼마스크 레지스터를 통해 요소별 조건부 연산이 가능하다.

AMX (Advanced Matrix Extensions)

AMX는 2022년 Intel Sapphire Rapids부터 도입된 매트릭스 연산 전용 확장이다. 각 타일 레지스터는 16줄 x 64바이트 = 1KB이며, BF16/INT8/FP16 데이터 타입의 행렬 곱셈 누적(MMA) 연산을 하드웨어로 수행한다. 코어당 클럭당 2048 INT8 또는 1024 BF16 연산이 가능하다.

AVX10 (2023)

AVX10은 AVX와 AVX-512 계열의 기능 플래그를 정리해 더 단순한 호환성 모델을 제공하려는 확장이다. 2023년 공개 초기에는 256비트와 512비트 프로파일을 함께 제시했지만, 이후 공개 문서 개정에서는 512비트 벡터를 기본 모델로 수렴시키는 방향이 제시되었다.

NEON (ARM Advanced SIMD)

ARM NEON은 ARMv7 NEON(128비트 고정 폭)에서 시작하여 AArch64에서 32 x 128비트 V 레지스터로 확장되었다.

레지스터 구조

• AArch64: 32 x 128비트 V 레지스터 (V0-V31), Q/D/S 별칭 지원
• 데이터 타입: 8/16/32/64비트 정수 (부호/무부호), 16/32비트 부동소수점
• 구조체 로드/스토어: LD2/3/4, ST2/3/4로 인터리빙 패턴 지원

주요 명령어

ARMv8.6-A부터 BFloat16 dot product(BFDOT)와 매트릭스 곱셈 누적(BFMMLA)이 추가되어 머신러닝 워크로드를 가속화한다.

SVE/SVE2 (ARM Scalable Vector Extension)

SVE는 ARMv8.2-A에서 도입된 확장 벡터 ISA로, Vector Length Agnostic (VLA) 프로그래밍 모델을 채택한 것이 핵심 특징이다.

VLA 프로그래밍 모델

SVE에서 하드웨어는 128비트에서 2048비트까지 128비트 단위로 구현할 수 있으며, 소프트웨어는 벡터 길이에 의존하지 않는 바이너리를 작성할 수 있다. 동일한 바이너리가 128비트 ARM 코어와 512비트 ARM 코어에서 모두 실행 가능하다.

// VLA 프로그래밍 예시: 요소별 벡터 덧셈
// 하드웨어 벡터 길이에 무관하게 동작
svint32_t a = svld1_s32(pg, ptr_a);
svint32_t b = svld1_s32(pg, ptr_b);
svint32_t c = svadd_s32_x(pg, a, b);
svst1_s32(pg, ptr_c, c);

레지스터 구조

프레디케이트 연산

SVE의 프레디케이트 레지스터는 각 벡터 요소에 대응하는 비트 마스크이다:

• PTRUE: 모든 비트가 1인 프레디케이트
• WHILELT/LE/LO/LB: 루프 카운터 기반 프레디케이트 생성
• FIRST/LAST: 첫/마지막 참인 요소 반환
• PAND/POR/PEOR: 프레디케이트 논리 연산

메모리 접근 패턴

First-Fault 로딩은 SVE의 독특한 기능으로, 가변 길이 배열에서 페이지 폴트 없이 최대한 많은 요소를 로드하고 FFR에 성공한 요소를 기록한다.

SVE2 추가 기능 (ARMv9-A)

SVE2는 SVE의 모든 명령어를 포함하며 추가로:

• 암호화: AESD/AESE/AESMC, SHA256/SHA512 명령어
• 복소수: CADD, CMLA, CADDrot90/180/270
• 정수 N-ary: EOR3, BCAX, SM3SS1/TT/TF/TB/FF
• 히스토그램: HISTCNT
• 비트 조작: BDEP, BEXT, BGRP

GPU SIMD / SIMT

GPU는 SIMT(Single Instruction, Multiple Threads) 모델을 사용하여 대규모 병렬 스레드를 실행한다.

NVIDIA GPU

• 레지스터 파일 (Volta+): SM당 65,536 x 32비트 레지스터
• Warp 연산: __shfl_sync() (셔플), __ballot_sync() (투표), __all_sync()/__any_sync() (서술자)
• 분기 다이버전스: 워프 내 스레드가 분기 조건에서 갈라지면 양쪽 경로를 순차 실행 후 재수렴

Tensor Cores: FP16, BF16, TF32, FP64, INT8, INT4를 지원하는 매트릭스 곱셈 누적 전용 유닛. SM당 클럭당 최대 2048 INT8 연산이 가능하다.

AMD GPU (RDNA)

• 레지스터 파일 (RDNA): CU당 256KB 벡터 레지스터
• 캐시 계층: L0 (64KB/WGP) → L1 (256KB/SA) → L2 (2-8MB) → Infinity Cache (최대 128MB)
• 버퍼 연산: BUFFER_LOAD/STORE로 인덱스 기반 접근 지원

RISC-V V Extension

RISC-V V 확장은 런타임에 벡터 설정을 유연하게 조절할 수 있는 점이 특징이다.

벡터 설정

// RISC-V V 설정 예시
vsetvli t0, a0, e32, m1, ta, ma  // SEW=32, LMUL=1, tail=agnostic, mask=agnostic

레지스터 및 메모리 접근

• 벡터 레지스터: 32개 (v0-v31), v0는 마스크 레지스터로도 사용
• VLEN: 최소 128비트, 최대 8192비트
• 메모리 접근: 유닛 스트라이드 (vle32.v), 스트라이드 (vlse32.v), 인덱스 (vluxei32.v/vloxei32.v)

주요 명령어

---

비교/분석

SIMD ISA 종합 비교

레지스터 폭 진화 비교

메모리 접근 패턴 비교

데이터 타입 지원 비교

---

동작 원리

SIMD 명령어 파이프라인

SIMD 명령어는 일반 명령어와 동일한 파이프라인을 사용하지만, 실행 유닛이 훨씬 넓다:

1. Fetch/Decode: SIMD 명령어를 디코딩하고 실행 유닛에 배정
2. Operand Read: 레지스터 파일에서 128~512비트 피연산자를 읽음
3. Execute: 여러 데이터 요소에 병렬로 연산 적용
4. Writeback: 결과를 벡터 레지스터에 기록

FMA (Fused Multiply-Add) 파이프라인

      ┌─────────────────────────────────────────┐
      │           512비트 FMA 유닛               │
      │  ┌─────┐ ┌─────┐ ┌─────┐ ┌─────┐      │
      │  │ FP32│ │ FP32│ │ FP32│ │ FP32│ ...  │
      │  │ FMA │ │ FMA │ │ FMA │ │ FMA │ x16  │
      │  └─────┘ └─────┘ └─────┘ └─────┘      │
      └─────────────────────────────────────────┘

AVX-512의 경우 512비트 레지스터에 16개의 FP32 요소가 들어가며, FMA 유닛은 이 16개에 대해 동시에 곱셈-누적 연산을 수행한다. 클럭당 최대 32 FP64 FLOPs (2 FMA 유닛 x 8 요소 x 2 FLOP)가 가능하다.

마스크/프레디케이트 메커니즘

x86 AVX-512 마스크

AVX-512는 k0-k7 오퍼마스크 레지스터를 사용하여 요소별 조건부 연산을 수행한다:

ZMM0: [a0, a1, a2, a3, a4, a5, a6, a7]  (8x FP64)
k1:   [ 1,  0,  1,  1,  0,  1,  0,  1]  (마스크)
결과: [a0, -,  a2, a3, -,  a5, -,  a7]  (k1=1인 요소만 연산)

VMASKMOVPS, VADDPS zmm1{k1}, zmm2, zmm3 등으로 마스크를 지정할 수 있다.

ARM SVE 프레디케이트

SVE는 벡터당 하나의 비트에 대응하는 프레디케이트 레지스터를 사용한다:

Z0: [a0, a1, a2, a3, a4, a5, a6, a7]  (VLEN=256비트, 8x FP32)
P0: [ 1,  1,  0,  1,  1,  1,  0,  1]  (각 요소별 비트)
결과: [a0, a1, -,  a3, a4, a5, -,  a7]

WHILELT 명령어로 루프 카운터 기반 프레디케이트를 자동 생성할 수 있다:

WHILELT P0.B, X0, X1  // X0 < X1이면 P0의 각 비트를 1로 설정

메모리 접근 최적화

연속 접근 (Unit-Stride)

가장 효율적인 접근 패턴으로, 캐시 라인에 맞춰 데이터를 연속적으로 로드한다:

// x86: 8개 FP32 벡터 로드
__m256 v = _mm256_load_ps(ptr);  // 256비트 (8x FP32)

// ARM NEON: 4개 FP32 벡터 로드
float32x4_t v = vld1q_f32(ptr);  // 128비트 (4x FP32)

Gather (인덱스 기반 접근)

비연속 메모리에 요소를 로드할 때 사용한다:

// x86 AVX2 Gather
__m256i idx = _mm256_set_epi32(28, 24, 20, 16, 12, 8, 4, 0);
__m256 v = _mm256_i32gather_ps(base, idx, 4);  // 간격 4바이트

// RISC-V V indexed load
vle32.v v8, (a0), v12  // v12에 바이트 오프셋이 들어있음

SVE First-Fault 로딩

페이지 폴트를 안전하게 처리하면서 최대한 많은 요소를 로드한다:

svuint32_t pg = svwhilelt_b32(i, n);
svfloat32_t v = svldff1_f32(pg, &array[i]);  // 폴트 전까지 로드
svbool_t success = svcntp_b32(svptrue_b32(), pg);  // 성공한 요소 수

---

장단점

장점

단점

---

관련 기술

표준 및 사양

관련 문서

• CPU 마이크로아키텍처 기초
• 슈퍼스칼라/와이드 이슈
• 분기 예측
• Out-of-Order 실행
• 메모리 일관성 모델
• GPU 메모리 아키텍처 기초
• CUDA 메모리 관리

참고 문헌

• Intel Corporation. Intel 64 and IA-32 Architectures Optimization Reference Manual. 2023.
• ARM Limited. ARM Architecture Reference Manual for A-profile Architecture. 2023.
• RISC-V International. The RISC-V Vector Extension. v1.0, 2021.
• NVIDIA Corporation. NVIDIA A100 Tensor Core GPU Architecture. 2020.
• AMD Inc. AMD RDNA 2 Architecture. 2020.
• Hennessy, J.L. and Patterson, D.A. Computer Architecture: A Quantitative Approach. 6th Edition. Morgan Kaufmann, 2019.
• Fog, A. Optimizing subroutines in x86 assembly for x86 processors. Technical University of Denmark, 2023.
• NVIDIA Corporation. CUDA C++ Programming Guide. 2023.

---

핵심 정리

SIMD 아키텍처는 하나의 명령어로 여러 데이터 요소를 동시에 처리하여 수치 해석, 머신러닝, 신호 처리 등의 워크로드에서 높은 처리량을 제공한다. x86은 SSE에서 AVX-512/AMX로, ARM은 NEON에서 SVE/SVE2로, RISC-V는 V Extension로 각각 진화하여 벡터 처리 능력을 지속적으로 확장하고 있다. ARM SVE의 VLA 프로그래밍 모델과 RISC-V V의 런타임 설정은 소프트웨어 호환성과 하드웨어 유연성의 균형을 추구한다. GPU의 SIMT 모델은 대규모 병렬 처리에 최적화되어 있으며, Tensor Core/AMX 같은 매트릭스 전용 가속기는 AI 추론의 핵심 인프라로 자리잡았다. 각 아키텍처의 SIMD 특성을 이해하는 것은 현대 프로세서의 성능 최적화에 필수적이다.