SC24서 공개, 기업에 AI와 HPC 애플리케이션 가속화 지원 동시에 에너지 효율성 개선

엔비디아가 17일부터 22일까지(현지시간) 미국 애틀랜타에서 개최되는 '슈퍼컴퓨팅 2024(Supercomputing 2024, SC24) 콘퍼런스에서 호퍼(Hopper) 제품군의 최신 제품인 엔비디아(NVIDIA) H200 NVL PCIe GPU의 출시를 발표했다.

엔비디아 호퍼 아키텍처는 도입 이후 AI와 고성능컴퓨팅(HPC) 환경을 혁신하고 있다. 이를 통해 기업, 연구자, 개발자들은 세계에서 가장 복잡한 문제를 더 높은 성능과 에너지 효율로 해결할 수 있게 됐다.



SC24에서 출시를 밝힌 엔비디아 H200 NVL PCIe GPU는 낮은 전력 소비와 공랭식 엔터프라이즈 랙 설계를 희망하는 데이터센터를 보유한 조직에 적합하다. 이는 규모에 관계없이 모든 AI와 HPC 워크로드에 가속을 제공할 수 있는 유연한 구성을 갖추고 있다.

최근 조사에 따르면 엔터프라이즈 랙의 약 70%가 20kW 이하이며 공랭식을 사용하는 것으로 나타났다. 따라서 PCIe GPU가 필수적이다. PCIe GPU는 1개, 2개, 4개, 8개 등 세분화된 노드 배치를 제공해 데이터센터가 더 작은 공간에 더 많은 컴퓨팅 성능을 구현할 수 있게 해준다. 기업은 기존 랙을 활용하고 필요에 맞는 적합한 GPU 수를 선택할 수 있다.

기업은 H200 NVL을 사용해 AI와 HPC 애플리케이션을 가속화하는 동시에 전력 소비를 줄여 에너지 효율성을 개선할 수 있다. H200 NVL은 엔비디아 H100 NVL 대비 메모리가 1.5배 증가하고, 대역폭이 1.2배 증가한다. 이를 통해 기업들은 몇 시간 내에 거대 언어 모델(Large Language Model, LLM)을 미세 조정하고 최대 1.7배 빠른 추론 성능을 제공할 수 있다. HPC 워크로드의 경우, 성능은 H100 NVL 대비 최대 1.3배, 엔비디아 암페어(Ampere) 아키텍처 세대 대비 2.5배까지 향상된다. 

H200 NVL의 원시 성능을 보완하는 것은 엔비디아 NV링크(NVLink) 기술이다. 최신 세대의 NV링크는 5세대 PCIe보다 7배 빠른 GPU 간 통신을 제공해 HPC, LLM 추론과 미세 조정의 요구 사항을 충족하는 더 높은 성능을 제공한다.

엔비디아 H200 NVL은 기업이 AI에서 HPC에 이르는 애플리케이션을 가속화할 수 있는 강력한 소프트웨어 도구와 함께 제공된다. 또한, 프로덕션 AI의 개발과 배포를 위한 클라우드 네이티브 소프트웨어 플랫폼인 엔비디아 AI 엔터프라이즈(AI Enterprise) 5년 구독도 함께 제공된다. 엔비디아 AI 엔터프라이즈는 고성능 AI 모델 추론의 안전하고 신뢰할 수 있는 배포를 위한 엔비디아 NIM 마이크로서비스를 포함한다.