공냉식과 액체 냉각 결합한 새로운 하이브리드 냉각 솔루션 공개

엔비디아가 지난 8월 25일에서 27일까지(현지 시간) 미국 캘리포니아주 스탠포드 대학교에서 열린 핫칩스 2024(Hot Chips 2024)에서 엔비디아 블랙웰(NVIDIA Blackwell) 플랫폼을 지원하는 최신 발전 사항과 데이터센터용 액체 냉각 그리고 칩 설계용 AI 에이전트에 대한 연구를 발표했다.

프로세서와 시스템 설계자를 위한 업계와 학계의 심층 기술 콘퍼런스인 핫칩스는 수조 달러 규모의 데이터센터 컴퓨팅 시장의 핵심 포럼으로 자리 잡았다.
 
8월 26일에 열린 엔비디아 블랙웰 강연에서는 새로운 아키텍처 세부 사항과 블랙웰 실리콘에서 실행되는 생성형 AI 모델의 사례도 집중 조명했다.

앞선 8월 25일에는 세 가지 튜토리얼을 진행했다. 여기서는 하이브리드 액체 냉각 솔루션이 데이터센터가 에너지 효율적인 인프라로 전환하는 데 어떻게 도움이 되는지, 거대 언어 모델(Large Language Model, LLM) 기반 에이전트를 포함한 AI 모델이 엔지니어가 차세대 프로세서를 설계하는 데 어떻게 도움이 될 수 있는지를 다뤘다.

이 발표에서는 데이터센터 컴퓨팅과 설계의 모든 영역에서 엔비디아 엔지니어들이 전례 없는 성능, 효율성, 그리고 최적화를 제공하기 위해 혁신하고 있는 방법을 소개했다.

엔비디아 블랙웰은 궁극의 풀스택 컴퓨팅 도전 과제다. 이는 블랙웰 GPU, 그레이스 CPU, 블루필드(BlueField) 데이터 처리 장치, 커넥트X(ConnectX) 네트워크 인터페이스 카드, NV링크 스위치(Switch), 스펙트럼 이더넷(Spectrum Ethernet) 스위치, 퀀텀 인피니밴드(Quantum InfiniBand) 스위치 등 여러 엔비디아 칩으로 구성된다.

엔비디아의 아키텍처 담당 이사인 아제이 티루말라(Ajay Tirumala)와 레이몬드 웡(Raymond Wong)이 이 플랫폼을 소개했다. 곧이어 이러한 기술들이 어떻게 함께 작동해 에너지 효율성을 향상시키고 AI와 가속화된 컴퓨팅 성능의 새로운 표준을 제공하는지 소개했다.

멀티 노드 엔비디아 GB200 NVL72 솔루션이 바로 완벽한 예시다. LLM 추론에는 지연 시간이 짧고 처리량이 높은 토큰 생성이 필요하다. GB200 NVL72는 LLM 워크로드에 최대 30배 빠른 추론을 제공하는 통합 시스템으로 작동해 수조 개의 파라미터 모델을 실시간으로 실행할 수 있는 기능을 제공한다.

또한 티루말라와 웡은 알고리즘 혁신, 엔비디아 소프트웨어 라이브러리와 도구, 블랙웰의 2세대 트랜스포머 엔진을 결합한 엔비디아 퀘이사 양자화 시스템이 어떻게 저정밀도 모델에서 높은 정확도를 지원하는지 논의했다. 아울러 LLM과 시각 생성형 AI를 사용한 사례를 중점적으로 소개했다.