엔비디아, 신규 전력선 증설 없이 토큰 처리량 최대 35% 향상해

2026-09-17 김미혜 기자, elecnews@elec4.co.kr

베라 루빈·그록 3 LPX로 동일한 시설 전력 용량에서 GPU 용량 최대 40% 확대

엔비디아가 엔비디아 베라 루빈(Vera Rubin) NVL72와 그록 3 LPX(Groq 3 LPX)를 기반으로 AI 팩토리의 전력 효율을 높이고, 더 많은 토큰을 처리할 수 있도록 지원한다고 밝혔다.

AI 팩토리에서는 전력이 핵심 제약 요소다. 모든 와트가 중요한 만큼, AI 인프라에서 동일한 메가와트의 전력으로 얼마나 더 많은 토큰을 처리할 수 있는지가 중요하다는 것이다.

업체 측에 따르면, 엔비디아는 베라 루빈 NVL72를 기반으로 시스템, 네트워킹, 소프트웨어, 전력 관리를 하나로 통합한 풀스택 AI 팩토리를 통해 이러한 과제에 대응한다. 엔비디아 DSX MaxLPS는 AI 팩토리의 전력 수요 변화에 따라 랙 간 전력을 동적으로 재분배한다.

이를 통해 동일한 시설 전력 용량 내에서 GPU 용량 최대 40% 확대하고, 신규 전력선 증설 없이 토큰 처리량 최대 35% 향상하는 효과를 낼수 있다.

각 랙 내부에서는 지능형 전력 평활화(Intelligent Power Smoothing) 소프트웨어와 확장된 에너지 버퍼링 기능이 순간적인 전력 급증을 흡수해, 시스템이 지속적인 전력 수요에 보다 가깝게 운영될 수 있도록 한다. 이를 통해 기존에 여유 용량으로 남아 있던 전력을 실제 컴퓨팅 자원으로 활용할 수 있다.

에이전틱 AI에서는 에이전트가 여러 단계의 추론과 도구 호출을 연속으로 수행하기 때문에 지연 시간과 컨텍스트 길이에 따른 부담이 빠르게 커질 수 있다. 엔비디아 그록 3 LPX는 베라 루빈에 결정론적 초저지연 추론 기능을 추가하고 DSX MaxLPS를 보완한다. 이 통합 플랫폼은 긴 컨텍스트 환경에서 2조 개 이상의 파라미터를 갖춘 모델을 기준으로 GB200 NVL72 대비 메가와트당 토큰 처리량을 최대 35배까지 높일 수 있다는 설명이다.

성능 수치에서도 이러한 효과가 확인됐다. 10만 토큰 컨텍스트 규모의 큐웬(Qwen) 3.8 27B 워크로드에서 그록 3 LPX는 사용자당 초당 2,529개의 출력 토큰을 기록했다. 이러한 성능 여유를 통해 워크로드가 확장되더라도 에이전트는 동일한 응답 처리 범위 내에서 더 많은 추론 단계와 도구 호출을 수행할 수 있다고 업체 측은 전했다.