지속적 확장성으로 세계 최대 통합 개방형 데이터세트 될 것으로 기대

엔비디아가 지난 17일 미국 새너제이에서 열린 글로벌 AI 콘퍼런스인 엔비디아(NVIDIA) GTC에서 차세대 물리 AI 개발을 돕는 대규모 오픈 소스 데이터세트를 공개했다.

자율 로봇과 차량이 물리적 세계와 상호작용하는 방식을 가르치는 데 방대한 양의 고품질 데이터가 필요한 상황에서, 이 데이터세트는 연구자와 개발자가 물리 AI 프로젝트를 한층 더 발전시킬 수 있도록 지원할 예정이다.



이 상용 등급의 사전 검증된 데이터세트는 연구원과 개발자가 처음부터 시작하기엔 매우 어려울 수 있는 물리 AI 프로젝트를 촉진하는 데 도움이 된다. 개발자들은 모델 사전 훈련, 테스트, 검증에 이 데이터세트를 직접 활용하거나, 사후 훈련 중에 월드 파운데이션 모델(World Foundation Model, WFM)을 미세 조정하는 데 이를 사용해 배포 과정을 가속할 수 있다.

현재 초기 데이터세트는 허깅 페이스(Hugging Face)에서 제공되며, 개발자에게 로보틱스 교육을 위한 32만 개 이상의 경로를 나타내는 15TB 규모의 데이터와 심레디(SimReady) 콜렉션을 포함한 최대 1,000개의 오픈USD(Universal Scene Description, OpenUSD) 에셋을 제공한다.

또한, 엔드 투 엔드 자율주행차량(AV) 개발을 지원하는 전용 데이터도 곧 제공될 예정이다. 여기에는 미국 전역 1,000개 이상의 도시와 유럽 24개국에 걸쳐 다양한 교통 시나리오를 담은 20초 분량의 클립 영상이 포함된다.

이 데이터세트는 시간이 지남에 따라 지속적으로 확장돼 물리 AI 개발을 위한 세계 최대의 통합 개방형 데이터세트가 될 것으로 기대된다. 이 데이터는 다양한 로봇을 구동하는 AI 모델 개발에 적용될 수 있다. 여기에는 창고 환경에서 안전하게 이동하는 로봇, 수술 중 외과의사를 보조하는 휴머노이드 로봇, 건설 구역 같은 복잡한 교통 상황에서 주행할 수 있는 자율주행차량 등이 있다.

엔비디아 물리 AI 데이터세트에는 엔비디아가 자사 플랫폼과 프레임워크 등에서 물리 AI를 교육, 테스트, 검증하는 데 사용하는 실제 데이터와 합성 데이터의 하위 세트를 포함할 예정이다. 여기에는 엔비디아 코스모스(Cosmos) 월드 모델 개발 플랫폼, 엔비디아 드라이브 AV(DRIVE AV) 소프트웨어 스택, 엔비디아 아이작(Isaac) AI 로봇 개발 플랫폼, 스마트 도시를 위한 엔비디아 메트로폴리스(Metropolis) 애플리케이션 프레임워크 등이 있다.

캘리포니아대학교 버클리(University of California, Berkeley, UCB)의 버클리 딥드라이브 센터(Berkeley DeepDrive Center), 카네기멜론대학교(Carnegie Mellon University, CMU)의 세이프AI 연구소(Safe AI Lab), 캘리포니아대학교 샌디에이고(University of California, San Diego, UCSD)의 컨텍스츄얼 로보틱스 연구소(Contextual Robotics Institue)등이 이를 조기 채택하고 있다.

USDC의 다중 로보틱스와 자율주행차량 연구소 책임자인 헨릭 크리스튼슨(Henrik Christensen)은 "이 데이터세트를 통해 자율주행차량이 보행자와 같은 도로 위 취약한 사용자의 움직임을 더 잘 추적해 안전성을 개선하는 데 도움이 되는 예측 AI 모델을 훈련하는 등 다양한 작업을 할 수 있다. 기존의 오픈 소스 리소스보다 다양한 환경과 긴 클립 영상을 제공하는 데이터세트는 로보틱스와 자율주행차량 연구를 발전시키는 데 큰 도움이 될 것”이라고 말했다.