암독스, 소프트뱅크, 테크 마힌드라 등 엔비디아 AI 엔터프라이즈로 거대 통신 모델 개발

엔비디아가 미국 새너제이에서 열린 GTC에서 협력사들과 함께 통신 업계를 위한 맞춤형 거대 통신 모델(large telco models, LTM)과 AI 에이전트(AI agent)를 개발하고 있다고 발표했다.

전 세계 통신 네트워크는 하루에 수백만 건의 사용자 연결을 지원하며, 분당 평균 3,800TB 이상의 데이터를 생성한다.
 
기지국, 라우터, 스위치, 데이터센터에서 생성되는 네트워크 트래픽 정보, 성능 지표, 구성, 토폴로지(topology) 등의 방대한 연속 데이터 흐름은 복잡하고 비정형적이다. 따라서 기존의 자동화 도구만으로는 이러한 데이터를 포함한 대규모의 실시간 작업을 처리하는 데 종종 한계를 보여왔다.

이러한 과제를 해결하기 위해 엔비디아(NVIDIA)는 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼 내 엔비디아 NIM과 네모(NeMo) 마이크로서비스를 활용해 통신 업계를 위한 맞춤형 LTM과 AI 에이전트를 개발하고 있다. 이러한 LTM과 AI 에이전트는 네트워크 운영에 차세대 AI를 적용할 수 있도록 지원한다.

LTM은 통신 네트워크 데이터를 대상으로 훈련된 멀티모달 거대 언어 모델(large language models, LLM)로, 네트워크 AI 에이전트 개발의 핵심 요소다. 이를 통해 복잡한 의사 결정 워크플로우를 자동화하고, 운영 효율성을 높이며, 직원 생산성과 네트워크 성능을 향상할 수 있다.

소프트뱅크(SoftBank)와 테크 마힌드라(Tech Mahindra)는 새로운 LTM과 AI 에이전트를 개발했으며, 암독스(Amdocs), 버블RAN(BubbleRAN), 서비스나우(ServiceNow)는 새로운 AI 에이전트로 네트워크 운영과 최적화를 추진하고 있다. 이 모든 과정에서 엔비디아 AI 엔터프라이즈를 이용하고 있다.

소프트뱅크는 자체 네트워크 데이터를 기반으로 대규모 LLM을 훈련해 새로운 LTM을 개발했다. 초기에 네트워크 구성 최적화에 중점을 두었던 이 모델은 엔비디아 NIM 마이크로서비스로 제공된다. 이는 경기장이나 행사장과 같은 대규모 이벤트에서 발생하는 트래픽 변화를 포함한 네트워크 트래픽 변동에 맞춰 자동으로 네트워크를 재구성할 수 있다. 또한, 통신 네트워크 운영 전반에 AI 도입을 가속화하기 위해 네트워크 에이전트 블루프린트를 도입하고 있다.

테크 마힌드라는 엔비디아의 에이전틱 AI(Agentic AI) 도구를 활용해 주요 네트워크 운영 문제 해결을 위한 LTM을 개발했다. 적응형 네트워크 인사이트 스튜디오(Adaptive Network Insights Studio)는 이 LTM을 기반으로 네트워크 문제를 360도로 분석하고, 다양한 수준의 자동화된 보고서를 생성해 IT 팀, 네트워크 엔지니어, 경영진이 문제를 자세히 파악하고 해결할 수 있도록 지원한다.

또한 테크 마힌드라의 사전 예방형 네트워크 이상 해결 허브(Proactive Network Anomaly Resolution Hub)는 LTM 활용으로 상당수의 네트워크 이벤트를 자동으로 해결해 엔지니어의 업무 부담을 줄이고 생산성을 향상시킨다.