엔비디아 베라 루빈·블랙웰, 와트당 에이전틱 AI 성능의 새로운 기준 제시해

2026-08-26 김미혜 기자, elecnews@elec4.co.kr

세미애널리시스 에이전트X, 실제 코딩 에이전트 세션 재현해 에이전틱 AI 추론 성능 평가

엔비디아가 베라 루빈 NVL72와 블랙웰 GB300 NVL72의 세미애널리시스 에이전트X(SemiAnalysis AgentX) 벤치마크 결과를 공개하며, 에이전틱 AI 추론 성능과 전력 효율의 새로운 기준을 제시했다고 밝혔다.

업체 측에 따르면, AI 에이전트는 추론을 단일 턴 상호작용에서 여러 단계에 걸친 추론, 도구 호출, 하위 에이전트 조정, 턴 사이 다량의 컨텍스트 연결 등 다단계 워크플로우로 확장했다. 이러한 변화의 규모는 실제 소비량에서도 뚜렷하게 나타난다. 오픈라우터(OpenRouter)의 State of AI 보고서가 실제 사용 데이터 100조 토큰을 분석한 결과, 요청당 평균 프롬프트 토큰 수가 약 4배 증가했으며, 단일 에이전트 요청이 일반 채팅에 비해 15배 더 많은 토큰을 소비하는 것으로 나타났다는 것이다.

이러한 워크로드에서 하드웨어 성능을 정확하게 평가하는 것은 새로운 과제를 제시한다. 유용한 벤치마크는 현실적인 동시성 조건 하에서 긴 컨텍스트 프리필(prefill), KV 캐시 재사용, 인터랙티브 디코딩, 툴 호출 간격, 분산형 전문가 혼합(mixture of experts, MoE) 실행을 모두 반영해야 한다. 또한 적절한 사용자 경험을 유지하면서 AI 팩토리의 전력 예산 중 얼마나 많은 부분이 유용한 에이전트 처리량으로 전환되는지도 보여줘야 한다는 설명이다.

본 자료에서는 실제 운영 환경과 유사한 세션을 재현해 에이전틱 코딩 추론을 위한 AI 인프라를 평가하는 벤치마크인 세미애널리시스 에이전트X를 다룬다. 베라 루빈 NVL72의 프리뷰 결과에서는 GB300 NVL72 대비 메가와트당 AI 팩토리 처리량이 최대 30배 높은 성능을 보였다. 또한 블랙웰 GB300 NVL72는 이전 세대 대비 메가와트당 처리량에서 압도적인 성능 우위를 동적 에이전틱 워크로드에서도 이어가는 것으로 나타났다.

에이전트X란 무엇인가?

에이전트X는 세미애널리시스의 오픈소스 벤치마크 모음인 인퍼런스X(InferenceX)에 포함된 에이전틱 코딩 벤치마크다. 이 벤치마크는 실제 코딩 에이전트가 생성하는 요청 패턴에 대해 가속기가 얼마나 효율적으로 대응하는지 측정한다고 업체 측은 전했다.

에이전트X 테스트 및 측정 방법론

에이전틱 세션은 길고, 상태를 유지하며, 가변적이다. 아래 그림 1과 같이 고정된 프롬프트-응답 패턴을 따르는 대신 모델 호출과 도구 사용을 연속적으로 수행하고, 컨텍스트를 지속적으로 확장한다. 따라서 에이전트X는 플랫폼이 재현된 에이전트 트래픽을 신속하게 처리하고, 이전에 처리된 컨텍스트를 재사용하며, 설비 전력 기준 메가와트당 에이전트 처리량을 극대화할 수 있는지를 측정한다.

(그림 1. 에이전틱 세션은 가변적인 추론 시퀀스를 생성한다.)

아래 그림 2는 딥시크-R1-0528(DeepSeek-R1-0528)을 대상으로 기존 인퍼런스X의 정적 8K/1K 시퀀스 길이에서 측정한 결과를 보여준다. GB300 NVL72는 H200 대비 메가와트당 토큰 처리량이 최대 40배 높다. 그러나 이 시나리오는 실제 운영 환경에서 에이전트가 생성하는 트래픽이 아닌, 통제된 고정 길이의 서빙 환경을 나타낸다.

(그림 2. GB300 NVL72는 8K ISL)

실제 에이전트 세션에서는 요청 길이가 턴마다 달라진다. 작업이 진행되는 동안 컨텍스트가 누적되고, 이전에 처리된 토큰을 재사용할 수 있으며, 모델 호출은 도구 실행이나 위임된 작업으로 인해 중단되기도 한다.

에이전틱 AI가 주요 워크로드로 자리 잡으면서 고정된 시퀀스 길이 시나리오는 실제 서빙 성능을 충분히 반영하기 어려웠으며, 이에 따라 인퍼런스X 제품군에서는 유지 관리 모드(maintenance mode)로 전환됐다.

에이전트X는 추론과 도구 사용이 교차하는 사전 녹화된 클로드 코드(Claude Code) 세션 전반의 서빙 성능을 측정함으로써 이러한 격차를 해소한다. 에이전트X는 AIPerf 클라이언트를 사용해 각 세션을 턴 단위로 재현한다. 모든 시스템에 동일하게 기록된 트래픽이 적용되므로, 측정된 성능 차이는 벤치마크에 특화된 튜닝이 아닌 서빙 스택 자체의 차이를 반영한다. 아래 그림 3은 사전 녹화된 세션의 예시를 보여준다.

(그림 3. 세션이 진행됨에 따라 컨텍스트가 누적된다.)

리플레이는 각 세션의 컨텍스트와 입출력 시퀀스 길이는 물론, 원래의 실행 과정에서 기록된 추론 시간과 도구 호출 지연 시간도 그대로 유지한다. 이러한 시간 간격을 보존함으로써 원래 세션의 타이밍을 재현하며, 실제 환경을 반영하는 벤치마크에서 반드시 고려해야 하는 KV 캐시 용량에 대한 부하를 재현한다.

에이전트X는 동시 실행 수준을 조정해 처리량과 인터랙티브 성능 간의 상충 관계를 측정한다. 각 운영 지점에서 할당된 메가와트당 지속 처리량과 함께 각 스택이 반복되는 컨텍스트를 재사용하는 능력을 측정해 보고한다는 설명이다.

100자평 쓰기