성능 병목을 해소하고 초거대규모 모델 학습 기반 마련해 국가 AI 인프라 고도화 지원 나서

배스트 데이터(VAST Data) 11월 21일, 래블업(Lablup Inc.)과의 전략적 협업을 발표했다. 양사는 AI 기술의 자립성을 목표로 하는 국가 AI 컨소시엄이 대규모 언어 모델(LLM)을 전적으로 국내 인프라에서 학습·배포할 수 있도록 고성능·확장형 데이터 기반을 공동 구축했다.

백엔드닷AI는 GPU 및 CPU 자원을 아우르는 AI 모델 학습, 배포, 추론 환경을 통합적으로 제공한다. 배스트 AI 운영체제가 통합된 이 기반을 통해 래블업을 비롯한 고객들은 학습 데이터, 모델 체크포인트, 다양한 아티팩트를 압도적인 처리량과 높은 복원력으로 관리할 수 있으며, 모델 개발부터 실시간 서비스에 이르기까지 끊김 없는 데이터 흐름을 확보할 수 있다.

래블업은 AI 워크로드가 커짐에 따라 기존의 전통적 스토리지 인프라로는 초거대 모델 학습에 필요한 처리량과 동시성을 지원하는 것이 어렵다고 판단했다. 이에 배스트 데이터를 선택해 데이터 레이어를 현대화하고, 멀티 테넌트 연구 환경에서 요구되는 신뢰성과 통제력을 유지하면서 성능 병목을 제거했다.

SK텔레콤의 소버린 AI 클러스터에서 구동되는 백엔드닷AI와 배스트 AI OS 통합 환경은 고성능 GPU 전반에 걸쳐 모델 학습을 자동화·가속화하며, 국내 다양한 연구 기관에 훈련 및 향후 추론까지 아우르는 통합형 AI 컴퓨팅 환경을 제공한다.

래블업 창업자이자 CEO인 신정규 대표는 “래블업은 개방적이고 효율적이며 확장 가능한 기술을 통해 AI 인프라를 민주화하는데 노력해 왔다”라며, “백엔드닷AI 환경에 배스트의 AI 운영체제를 통합함으로써 개발자와 기업은 현대적인 AI가 요구하는 신뢰성과 고성능을 유지하면서도 대규모 데이터셋과 복잡한 워크로드를 처리할 수 있게 됐다”고 밝혔다. 

배스트 AI OS와의 다이렉트 통합을 통해 백엔드닷AI는 대규모 학습 워크로드를 위한 고처리량 데이터 액세스를 원활하게 제공한다고 업체 측은 밝혔다. 배스트의 DASE(Disaggregated, Shared-Everything/분리형 공유) 아키텍처를 기반으로 래블업은 컴퓨팅 환경과 스토리지를 독립적으로 확장함과 동시에 단일 글로벌 네임스페이스인 ‘배스트 데이터스페이스(VAST DataSpace)’를 통해 연구자들이 체크포인트, 데이터셋, 모델 출력을 프로젝트 간 빠르게 공유할 수 있도록 한다.

배스트 AI OS는 래블업 자체 인프라에 대해서도 AI 인프라 개발, 최적화 테스트, 모델 서비스 오케스트레이션을 지원한다. 이를 통해 엔지니어들은 새로운 AI 모델을 더욱 효율적으로 테스트·배포할 수 있으며, 실시간으로 모델 웨이트를 교체하는 동시에 다운타임 없이 운영이 가능하다. 양사는 초기 단계에서의 지연(latency) 문제를 공동 엔지니어링을 통해 해결했으며, 그 결과 학습과 연구 운영을 위한 안정적이고 고처리량의 확장 가능한 시스템이 구축되었다.

업스테이지가 주도하고 국내 주요 연구 기관들이 참여하는 한국형 파운데이션 모델 컨소시엄 내에서 백엔드닷AI와 배스트 AI 운영체제는 초거대규모의 데이터를 처리해 대형의 사전 트레이닝과 파인 튜닝을 수행하며 국내 AI 개발 역량을 한 단계 끌어올리고 있다.

배스트 데이터 공동 창업자이자 CTO인 알론 호레브(Alon Horev)는 “래블업과의 협업으로 확장을 고려해 설계된 현대적 AI 인프라의 실질적인 형태를 구현할 수 있게 됐다”라며, “배스트 AI OS를 통해 컴퓨트 오케스트레이션과 데이터 인텔리전스를 통합함으로써 병목을 제거하고 한국과 같이 국가가 AI 혁신을 스스로 소유하고, 통제하는 한편 가속할 수 있는 단일 패브릭을 구축했다”고 밝혔다. 

과학기술정보통신부가 주도하는 소버린 AI 이니셔티브는 전적으로 국내 기술로 구축된 글로벌 경쟁력이 높은 기초 모델을 개발하여 해외 클라우드 및 소프트웨어 공급자에 대한 의존도를 낮추는 것을 목표로 한다.

배스트 데이터와 래블업은 이를 가능케 하는 데이터 및 연산 인프라를 공동으로 제공함으로써, 스타트업, 기업 및 연구 기관이 국가 내에서 안전하게 AI를 훈련하고 확장할 수 있도록 지원한다. 이번 협력은 백엔드닷AI의 분산형 컨테이너 오케스트레이션과 에이전트형 AI 시대를 위한 통합 기반인 배스트 AI 운영체제 간의 기술적 시너지가 확대되고 있음을 반영한다고 업체 측은 밝혔다.