GB200 NVL72 · GB300 NVL72, 수랭식 방식 채택해 AI 인프라 전반 효율성 제고

엔비디아가 엔비디아 블랙웰 플랫폼(NVIDIA Blackwell) 기반 수랭식 시스템이 기존 공랭식 아키텍처 대비 최대 300배 높은 수자원 효율성을 제공한다고 밝혔다.

전통적으로 데이터센터는 공랭식에 의존해왔다. 이 방식은 기계식 냉각기가 차가운 공기를 순환시켜 서버에서 발생하는 열을 흡수하고, 이를 통해 서버가 최적의 상태를 유지하도록 돕는 방식이다. 그러나 AI 모델의 규모가 커지고 AI 추론 모델의 사용이 증가함에 따라, 이러한 최적 조건을 유지하는 것은 점점 더 어려워지고 있으며, 비용과 에너지 소비 또한 더 많아지고 있다.
 

과거에는 데이터센터가 랙당 20킬로와트(kW) 수준에서 운영됐지만, 오늘날의 하이퍼스케일 시설은 랙당 135kW 이상의 전력을 지원한다. 이에 고밀도 랙에서 발생하는 열을 방출하는 일은 훨씬 더 어려워졌다. 따라서 AI 서버를 최상의 성능으로 유지하기 위해서는 효율성과 확장성을 동시에 확보할 수 있는 새로운 접근 방식이 필요하다.

이에 대한 핵심적인 해결책 중 하나는 수랭식 기술이다. 이 방식은 냉각기에 대한 의존도를 줄이고 보다 효율적인 열 배출을 가능하게 해 고성능, 고에너지 효율 AI 인프라의 차세대를 이끌고 있다.

엔비디아 GB200 NVL72와 엔비디아 GB300 NVL72는 수조 개 파라미터를 사용하는 거대 언어 모델(large language models, LLM) 추론의 까다로운 작업을 처리하도록 설계된 랙 스케일 수랭식 시스템이다. 이들 시스템의 아키텍처는 테스트 타임 스케일링(test-time scaling, TTS) 정확도와 성능을 위해 최적화돼 있어 에너지 비용과 열을 효율적으로 관리해 AI 추론 모델을 실행하는 데 이상적이다.

과거에는 냉각만으로도 데이터센터 전체 전력 소비의 최대 40%를 차지했다. 이는 운영 비용과 에너지 수요를 동시에 줄일 수 있는 가장 중요한 효율화 대상 중 하나였다.

수랭식 냉각은 열을 발생원에서 직접 잡아내 비용과 에너지 사용을 줄인다. 다이렉트 투 칩(direct-to-chip) 수랭식 냉각은 공기를 매개체로 사용하는 대신, 냉각 시스템 순환 루프에서 열을 전달한다. 이 열은 액체 간 열교환기를 통해 냉각수 분배 장치(Coolant Distribution Unit, CDU)를 거쳐 순환되며, 최종적으로 시설 냉각 루프로 전달된다. 이 같은 열 전달 방식은 효율성이 훨씬 높기 때문에 데이터센터와 AI 팩토리는 더 높은 온도의 물로도 효과적인 운영이 가능해진다. 그 결과 다양한 기후 환경에서 기계식 냉각기의 사용을 줄이거나 아예 없앨 수 있다.

엔비디아 블랙웰 플랫폼에 구축된 엔비디아 GB200 NVL72 랙 스케일 수랭식 시스템은 탁월한 성능을 제공하는 동시에 에너지 비용과 발열의 균형을 맞춘다. 각 서버 랙에 전례 없는 컴퓨팅 밀도를 제공해 기존 공랭식 아키텍처보다 40배 높은 수익 잠재력, 30배 높은 처리량, 25배 높은 에너지 효율성, 300배 높은 수자원 효율성을 제공한다. 블랙웰 울트라(Ultra) 플랫폼에 구축된 최신 엔비디아 GB300 NVL72 시스템은 50배 높은 수익 잠재력과 35배 높은 처리량, 30배 높은 에너지 효율성을 자랑한다.

데이터센터는 연간 메가와트(MW)당 약 190만~280만 달러를 지출하며, 이 중 약 50만 달러는 냉각 관련 에너지와 물 사용 비용으로 쓰인다. GB200 NVL72 수랭식 시스템을 도입하면, 하이퍼스케일 데이터센터와 AI 팩토리는 최대 25배의 비용 절감을 누릴 수 있다. 이는 50MW 규모의 하이퍼스케일 데이터센터 기준 연간 400만 달러 이상의 비용 절감으로 이어진다.

이로써 데이터센터와 AI 팩토리 운영자들은 운영 비용을 절감하고 에너지 효율성 지표도 개선할 수 있다. 또한 기존 냉각 방식의 지속 가능하지 않은 물 사용량 없이도 AI 워크로드를 효율적으로 확장하는 미래지향적 인프라를 가져온다.