AMD가 6일(현지 시각) 자사의 AI 소프트웨어 기능을 향상시키기 위한 ROCm 6 개방형 소프트웨어 스택과 함께 AMD 인스팅트 MI300X (AMD Instinct™ MI300X) 가속기 제품군과 AMD 인스팅트 MI300A(AMD Instinct™ MI300A) APU를 발표했다. 
 

특히 엔비디아를 직접 겨냥하고 있는 AMD 인스팅트 MI300X 가속기는 생성형 AI에 적합한 메모리 대역폭과 LLM(Large Language Model, 대형 언어 모델) 훈련 및 추론에 필요한 성능을 제공한다. 또한, 최신 AMD CDNA™ 3 아키텍처와 ‘젠 4(Zen 4)’ CPU를 결합한 인스팅트 MI300A APU는 HPC(Hight Performance Computing, 고성능 컴퓨팅) 및 AI 워크로드 처리 능력을 갖췄다.
 
AMD는 MI300X가 H100과 비교하여 텐서플로트(TensorFloat, TF), 부동 소수점(Floating Point), 블록플로트(Block-Float) 및 정수 데이터 유형에서 32%의 성능 우위를 제공한다고 주장했다. 
 
MI300X 가속기는 192 GB HBM3 메모리 용량을 지원하는 반면, H100 SXM은 80 GB HBM3 메모리 용량을 제공한다. 또한, MI300X는 TSMC의 5nm 및 6nm 제조 공정 기술을 사용하는 반면, H100은 TSMC 4N 공정(4nm)을 사용하여 만들었다는 점도 주목할 만하다.

MI300은 AMD CDNA3 GPU 아키텍처를 기반으로 하며 TSMC의 5nm 및 6nm 핀펫(FinFET) 공정 기술로 제작된 칩을 사용하여 제조된다. 이 구성 요소에는 19,456개의 스트림 프로세서와 304개의 컴퓨팅 유닛이 있으며 최대 클록 주파수는 2.1 GHz이다. 이는 1.3 PFLOPS의 최고 FP16 성능과 2.6 POPS의 최고 INT8 성능을 제공한다. 

이 구성 요소는 OAM(OCP Accelerator Module)으로 제공되며 패시브 냉각을 사용한다. 이 모듈에는 이론상 최대 메모리 대역폭이 초당 5.3 Tbyte인 192 GB의 HBM3 메모리가 포함되어 있다.

새로운 데이터 유형, 고급 그래프 및 커널 최적화, 최적화된 라이브러리, 최첨단 주의 알고리즘(state of the art attention algorithms)을 지원하는 ROCm 6는 MI300X와 함께 라마 2(Llama 2)에서 텍스트 생성 시 전체 지연 시간이 MI250에서 실행되는 ROCm 5 대비 약 8배 향상된 AI 가속 성능을 발휘한다. 

AMD Instinct MI300A는 인스팅트 가속기는 적지만 공유 메모리를 갖춘 EPYC™ 프로세서를 갖추고 있어 향상된 효율성, 유연성, 프로그래밍 가능성을 제공하는 APU이다. AI와 고성능 컴퓨팅의 융합을 가속화하도록 설계됐다.

MI300A에는 228개의 컴퓨팅 유닛과 24개의 Zen 4 x86 CPU 코어가 128 GB 용량의 HBM3 메모리와 함께 포함되어 있다.

AMD 인스팅트 플랫폼은 최대 8개의 MI300X 가속기를 갖춘 생성형 AI 플랫폼으로, 1.5 TB의 HBM3 메모리 용량을 제공한다. AMD 인스팅트 플랫폼은 BLOOM 176B와 같은 LLM에서 추론을 실행할 경우 엔비디아 H100 HGX보다 최대 1.6배 향상된 처리량을 제공한다. AMD는 이 플랫폼이 단일 MI300X 가속기에서 라마 2와 같은 700억 개의 파라미터 모델에 대한 추론을 실행할 수 있는 유일한 옵션이라고 주장한다. 

엔비디아에 따르면, H100은 업계 표준 MLPerf 벤치마크에서 자체 A100 대비 4.5배의 성능 기록을 세웠다. H100은 일반적으로 자연어 처리, 컴퓨터 비전, 생성형 AI에 사용되며, 가격은 미화 25,000달러에서 40,000달러 사이이다.

미국 정부는 H100과 A100의 성능이 뛰어나 수출 허가 없이 중국과 일부 국가에 수출을 금지하고 있으며, AMD MI300 시리즈에도 동일한 제한이 적용될 것으로 예상된다. 

AMD의 CEO인 리사 수 박사(Dr. Lisa Su)는 “AMD는 대규모 클라우드부터 엔터프라이즈 클러스터, AI 지원 지능형 임베디드 기기 및 PC에 이르기까지 AI 시대를 정의할 엔드투엔드 인프라를 강화할 수 있는 독보적인 위치에 있다”라고 강조했다. 또 “우리는 생성형 AI를 위한 세계 최고 성능의 가속기인 인스팅트 MI300 GPU에 대한 수요가 매우 높다고 보고 있다. 현재 최대 규모의 클라우드 기업, 업계 최고의 서버 제공업체, 가장 혁신적인 AI 스타트업과 함께 데이터 센터 AI 솔루션 분야에서 상당한 모멘텀을 구축하고 있으며, 인스팅트 MI300 솔루션을 시장에 빠르게 보급하고자 긴밀히 협력하고 있다. AI 생태계 전반의 혁신 속도가 빨라지고 있다”라고 설명했다.


AMD는 이번에 여러 파트너와 함께 AMD 인스팅트 데이터 센터 AI 가속기 채택 사례를 발표했다.