성능 집약 워크로드를 위한 데이터 플랫폼 제공업체인 WekaIO(WEKA)는 14일(미국 현지시간) 오픈 소스 생성형 AI 기업인 스테이빌리티 AI(Stability AI)와 협력을 통해 새로운 획기적인 솔루션을 개척하고 있다고 밝혔다.
클라우드 솔루션용 WEKA 데이터 플랫폼 컨버지드 모드(Data Platform Converged Mode)는 스테이블 디퓨전(Stable Diffusion) 모델을 포함하여 클라우드에서 여러 AI 모델을 훈련하는 스테이빌리티 AI의 능력을 강화하고 고객에게 효율성, 비용, 지속 가능성 혜택을 확대할 것으로 기대된다.
훈련 및 추론 등의 AI 프로세스는 많은 에너지와 컴퓨팅 자원이 필요하다. 특히, 차세대 생성형 AI(GenAI) 솔루션을 개척하는 기업 중 온프레미스(on-premise)에서 필요한 성능을 확보하고 배치하는 데 필요한 시간이나 비용을 투자할 수 있는 기업은 거의 없으며, 클라우드에서 AI 모델을 훈련하고 추론하는 데는 막대한 비용이 드는 경우가 많다.
WEKA는 고유한 방식을 개발하여 클라우드 우선(cloud-first) 생성형 AI 고객을 위해 이러한 상황을 획기적으로 개선했다. WEKA 데이터 플랫폼의 컨버지드 모드 솔루션은 클라우드에서 워크로드를 실행하는 사용자가 이용할 수 있는 최초의 딥러닝 지원 인스턴스 스케일아웃(Scale-out) 스토리지이다. 이 솔루션은 클라우드 AI 인스턴스에서 임시 로컬 스토리지와 메모리를 사용하여 기존 데이터 아키텍처에 비해 대규모 생성형 AI 리소스에 대한 기하급수적인 비용 절감과 성능 개선을 제공한다.
스테이빌리티 AI는 WEKA 데이터 플랫폼을 통한 '컨버지드 클라우드' 접근 방식을 개발하기 위해 WEKA와 협력을 시작했으며, 최근 이 솔루션의 시험을 성공적으로 마쳤다. 이 컨버지드 아키텍처는 고성능의 단일 리소스 세트를 제공하여 애플리케이션과 데이터 플랫폼을 동시에 지원한다. 그 결과 스테이빌리티 AI의 모델 훈련이 더욱 최적화되었으며 연구팀의 활용도를 높일 수 있게 되었다.
WEKA의 클라우드용 컨버지드 모드 솔루션은 올해 공개 프리뷰로 우선 AWS에서 출시되고, 이어서 다른 클라우드로 확대될 예정이다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
