코어위브에 그레이스 블랙웰 GPU 공급… 모델 훈련 시 호퍼 GPU 대비 최대 3배 향상된 성능 확인

엔비디아는 코어위브(CoreWeave)가 엔비디아(NVIDIA) GB200 NVL72 시스템을 대규모 고객 대상으로 온라인에 제공한 최초의 클라우드 제공업체 중 하나가 됐다고 발표했다.

코히어(Cohere), IBM, 미스트랄 AI(Mistral AI)는 이미 이 시스템을 활용해 차세대 AI 모델과 애플리케이션을 훈련하고 배포하고 있다.

코어위브는 엔비디아 그레이스 블랙웰(Grace Blackwell)을 일반에 제공한 최초의 클라우드 제공 업체이다. 코어위브는 추론과 AI 에이전트를 위해 설계된 강력한 랙 스케일 가속 컴퓨팅 플랫폼인 엔비디아 GB200 NVL72로 MLPerf 벤치마크에서 이미 놀라운 성과를 보여줬다. 이제 코어위브 고객들은 수천 개의 엔비디아 블랙웰 GPU를 이용할 수 있게 됐다. 



코어위브의 CEO인 마이클 인트레이터(Michael Intrator)는 “우리는 AI 모델 훈련과 추론 서비스를 위한 가장 강력한 최신 솔루션을 고객에게 신속하게 제공하기 위해 엔비디아와 긴밀히 협력하고 있다. 새로운 그레이스 블랙웰 랙 스케일 시스템을 통해 많은 고객이 대규모로 운영되는 AI 혁신의 이점과 성능을 가장 먼저 경험하게 될 것”이라고 말했다. 

현재 수천 개의 엔비디아 블랙웰 GPU가 전례 없는 속도로 원시 데이터를 인텔리전스로 전환하고 있으며, 곧 더 많은 GPU가 온라인에 추가될 예정이다. 

이제 코어위브와 같은 클라우드 제공업체 고객들이 시스템을 본격적으로 활용할 수 있게 됐다. 엔비디아 그레이스 블랙웰 기반 시스템이 본격적으로 생산에 들어가며, 클라우드 데이터센터는 AI 팩토리로 변모하고 있다. 이 시스템들은 대규모로 인텔리전스를 생산하고, 원시 데이터를 실시간 인사이트로 빠르고 정확하며 효율적으로 전환한다. 

현재 전 세계의 AI 선도 기업들은 AI 애플리케이션, 에이전틱 AI, 그리고 최첨단 모델 개발을 위해 GB200 NVL72의 기능을 활용하고 있다. 

코히어는 최첨단 연구와 모델 개발 기술을 기반으로 안전한 엔터프라이즈 AI 애플리케이션을 개발하는 데 도움을 주기 위해 그레이스 블랙웰 슈퍼칩(Superchip)을 사용하고 있다. 코히어의 엔터프라이즈 AI 플랫폼 노스(North)를 통해 개인화된 AI 에이전트를 구축해 엔터프라이즈 워크플로우를 안전하게 자동화하고 실시간 인사이트를 제공하는 등의 작업을 수행할 수 있다.

코히어는 이미 코어위브의 엔비디아 GB200 NVL72를 통해 이전 세대 엔비디아 호퍼(Hopper) GPU에 비해 1,000억 개 파라미터 모델 훈련에서 최대 3배 더 뛰어난 성능을 경험하고 있다. 이는 블랙웰 전용 최적화 없이도 이루어진 결과다.

코히어는 GB200 NVL72의 대용량 통합 메모리, FP4 정밀도, 모든 GPU가 연결돼 함께 작동하는 72-GPU 엔비디아 NV링크(NVLink) 도메인을 활용한 추가 최적화를 실시했다. 이로써 첫 번째 토큰과 후속 토큰에 걸리는 시간을 단축해 처리량을 획기적으로 늘리고 있으며, 보다 성능이 뛰어나고 비용 효율적인 추론을 구현하고 있다.

코히어의 엔지니어링 부사장인 어텀 몰더(Autumn Moulder)는 “클라우드에서 최초로 엔비디아 GB200 NVL72 시스템을 사용하게 되면서, 우리 워크로드를 엔비디아 그레이스 블랙웰 아키텍처로 쉽게 이전할 수 있게 돼 매우 기쁘다. 이를 통해 단일 블랙웰 GPU에서 실행되는 수직 통합된 노스 애플리케이션부터 수천 대의 GPU에 걸쳐 훈련 작업을 확장하는 것까지 스택 전반에 걸친 놀라운 성능 효율을 실현할 수 있게 됐다. 우리는 곧 추가 최적화를 통해 더 뛰어난 성능을 달성할 수 있기를 기대한다”고 말했다.