에이전틱 AI 시대 위한 AI 인프라 확장...AI 에코시스템 전반에서 Arm AGI CPU 채택 가속
에이전틱 AI가 AI 인프라에 대한 요구 사항을 재편하고 있다. AI가 추론에서 실행으로 나아가면서 에이전트는 추론하고, 데이터를 검색하고, 툴을 호출하고, 데이터베이스 및 다른 에이전트와 상호작용하며 데이터센터 전반에 걸쳐 CPU 기반 연산 수요를 크게 증가시키고 있다.
하지만 인프라 요구 사항은 워크로드에 따라 달라진다. 스케일아웃 및 데이터 플레인(data-plane) 활용 사례는 최대 처리량과 효율성을 중시하는 반면, 에이전틱 애플리케이션과 성능이 중요한 애플리케이션에서는 높은 응답 속도의 CPU 성능을 요구한다. Arm은 이미 데이터센터 분야에서 상당한 규모로 활용되고 있다. IDC 보고서에 따르면, Arm 기반 랙 스케일 서버는 x86을 넘어 가속 컴퓨팅 분야의 지배적인 플랫폼으로 자리잡았다고 업체 측은 전했다.
Arm은 이러한 변화를 한층 앞당기는 방안을 공개했다. AI 인프라에는 모든 워크로드에 동일하게 적용되는 단일 해법이 있지 않기에, Arm은 고객이 워크로드에 가장 적합한 방식을 선택할 수 있는 유연성을 제공한다는 것이다.
새로운 Neoverse 컴퓨팅 서브시스템(CSS) N4를 통해 고객은 최대 처리량 효율을 위해 최적화된 실리콘을 구축할 수 있으며, Arm AGI CPU는 높은 응답성이 요구되는 에이전틱 AI를 위해 설계된 양산 준비 완료 수준의 실리콘을 제공한다. 이 모든 것은 공통의 Neoverse 플랫폼과 소프트웨어 에코시스템을 기반으로 한다.
Neoverse CSS N4로 차별화된 실리콘 개발 가속화
AI 인프라 역시 점점 더 이기종화되고 있다. 맞춤형 컴퓨팅 플랫폼부터 DPU, 네트워킹 및 기타 특수 설계에 이르기까지, 일부 영역에서는 특정 시스템 아키텍처나 기능에 최적화된 실리콘이 필요하다는 것이다.
업체 측에 따르면, Neoverse CSS는 Arm 기반 컴퓨팅을 이러한 특화 설계 영역까지 확장한다. Neoverse CSS는 파트너가 자사의 요구사항에 맞춰 구성할 수 있는 검증된 통합 컴퓨팅 기반을 제공하는 동시에, 엔지니어링 부담과 통합 리스크, 실리콘 개발 시간을 줄여준다. Neoverse CSS N4는 역대 가장 높은 수준의 구성 유연성을 갖춘 CSS로 이러한 접근 방식을 한 단계 더 발전시키며, CSS에서 실리콘 구현까지 가장 빠른 경로를 제공한다.
다이당 최대 128개의 코어를 탑재한 CSS N4는 LPDDR6 메모리와 PCIe Gen 7 연결을 지원한다. 또한 Neoverse CSS N3 대비 최대 2배의 성능, 최대 1.25배의 와트당 성능, 최대 1.75배의 메모리 대역폭을 제공한다. 이러한 발전을 통해 에이전틱 AI가 시스템 전반에서 더 많은 데이터 이동, 가속기 오케스트레이션 및 동시 연산을 요구하는 상황에서 필요한 연산 밀도와 고속 메모리 및 I/O를 확보해 준다.
Arm Total Design 에코시스템은 사전 IP 검증 및 소프트웨어 개발을 통해 양산까지의 경로를 더욱 가속화하며, Arm은 이러한 협력 모델을 피지컬 AI 분야로 확장하고 있다.
대규모 에이전틱 AI를 구동하는 Arm CPU
모든 고객이 맞춤형 실리콘을 개발해야 하는 것은 아니다. 즉시 양산 환경에 도입할 수 있는 컴퓨팅을 원하는 기업을 위해 Arm AGI CPU는 Neoverse 플랫폼의 성능과 효율성을 제공한다. Arm AGI CPU 출시 이후 오픈AI, 메타, 클라우드플레어, 오라클, SAP, 레노버, 슈퍼마이크로, 베르다(Verda) 등 AI 에코시스템 전반의 기업들이 이를 기반으로 솔루션을 개발하고 있다는 것이다.
더 광범위한 클라우드 에코시스템에서도 기업들은 이미 Arm 기반 에이전틱 AI를 지원하고 있다. 구글 클라우드는 Axion 기반 GKE에서 에이전트 샌드박스를 실행하고 있으며, 마이크로소프트 애저는 Cobalt 200을 통해 샌드박스 환경에서의 툴 실행을 가속화하고 있다. 또한 엔비디아 베라(Vera)는 에이전틱 AI 워크로드를 가속화하도록 설계됐다.
바이트댄스의 클라우드 컴퓨팅 사업부인 볼케이노 엔진(Volcano Engine)은 Arm AGI CPU 플랫폼 기반으로 차세대 클라우드 서비스를 구현하고 있으며, Arm AGI CPU 기반의 첫 에이전틱 샌드박스를 시장에 선보여 대규모 에이전트 워크로드를 위한 안전하고 탄력적인 환경을 제공한다는 설명이다.
미래를 위한 기반 구축
아직까지는 에이전틱 AI 시대의 초기 단계에 불과하다. 에이전트가 빠르게 확산됨에 따라 인프라는 더 많은 데이터를 처리하고, 더 많은 가속기를 조율하며, 더 많은 동시 연산을 지원해야 한다. 이에 따라 전력 1와트, 랙 한 대, 투자한 1달러에서 최대의 가치를 창출하는 것이 더욱 중요해졌다.
업계는 차세대 에이전틱 AI를 위한 공통 컴퓨팅 플랫폼으로 Arm 중심으로 수렴하고 있다. Arm AGI CPU와 Neoverse CSS N4를 통해 고객은 성능, 효율성 및 소프트웨어 호환성이라는 공통 기반 위에서 자사의 인프라에 가장 적합한 경로를 선택할 수 있다고 업체 측은 전했다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
