KAIST, 다양한 AI 가속기 통합하는 LLM 서빙 소프트웨어로 카카오 AI 육성 프로젝트 대상
챗GPT를 비롯한 대규모 언어모델(LLM) 서비스는 현재 대부분 고가의 GPU 서버에 의존해 운영되고 있다. 서비스 규모가 커질수록 비용과 전력 소모가 급증하는 구조적 한계를 안고 있는 가운데, KAIST 연구진이 GPU 의존도를 낮추고 다양한 AI 반도체를 효율적으로 활용할 수 있는 차세대 AI 인프라 기술을 선보였다.
KAIST(총장 이광형)는 전산학부 박종세 교수를 중심으로 한 애니브릿지(AnyBridge) AI 팀이 GPU뿐 아니라 NPU, PIM 등 다양한 AI 가속기를 통합 활용해 LLM 서비스를 효율적으로 운영할 수 있는 인프라 소프트웨어를 개발했다고 1월 30일 밝혔다. 해당 기술은 카카오가 주최한 ‘4대 과학기술원×카카오 AI 육성 프로젝트’에서 대상을 수상했다.
이번 프로젝트는 카카오와 KAIST, GIST, DGIST, UNIST 등 4대 과학기술원이 공동으로 추진한 산학 협력 프로그램으로, AI 기반 예비 창업팀을 대상으로 기술력과 사업성을 종합 평가해 우수 팀을 선정했다. 대상 팀에는 2,000만 원의 상금과 함께 최대 3,500만 원 규모의 카카오클라우드 크레딧이 지원된다.
애니브릿지 AI 팀은 박종세 교수를 대표로 권영진 교수, 허재혁 교수가 참여한 기술 창업팀으로, AI 시스템과 컴퓨터 아키텍처 분야에서 축적한 연구 성과를 바탕으로 산업 현장에서 활용 가능한 기술 개발을 목표로 하고 있다. 또한 미국 AI 반도체 시스템 스타트업 삼바노바(SambaNova)의 공동창업자이자 스탠퍼드대 교수인 쿤레 올루코툰(Kunle Olukotun) 교수가 자문위원으로 참여해 글로벌 확장을 염두에 둔 기술 고도화를 함께 추진하고 있다.
연구진은 현재 LLM 서비스의 높은 비용 구조가 특정 하드웨어 성능의 한계가 아니라, GPU 중심으로 고착화된 인프라 구조와 다양한 AI 가속기를 유연하게 연결·운용할 수 있는 시스템 소프트웨어의 부재에서 비롯된 문제라고 분석했다.
이에 애니브릿지 팀은 가속기 종류와 관계없이 동일한 인터페이스와 런타임 환경에서 LLM을 서비스할 수 있는 통합 소프트웨어 스택을 제안했다. GPU, NPU, PIM 등 서로 다른 특성을 가진 AI 가속기를 하나의 시스템에서 함께 활용할 수 있는 ‘멀티 가속기 LLM 서빙 런타임 소프트웨어’가 핵심이다.
이 기술을 적용하면 특정 벤더나 하드웨어에 종속되지 않고, 작업 특성에 따라 최적의 AI 가속기를 선택·조합할 수 있다. 이를 통해 LLM 서비스의 운영 비용과 전력 소모를 줄이는 동시에, 시스템 확장성과 유연성을 크게 높일 수 있다는 설명이다.
또한 애니브릿지 팀은 다년간 축적한 LLM 서빙 시스템 시뮬레이션 연구를 바탕으로, 대규모 인프라를 실제로 구축하지 않고도 다양한 하드웨어와 소프트웨어 조합을 사전에 검증할 수 있는 연구 기반을 갖추고 있다. 이는 기술의 완성도와 산업적 실현 가능성을 동시에 입증한 요소로 평가받았다.
박종세 KAIST 전산학부 교수는 “이번 수상은 GPU 중심 AI 인프라의 한계를 넘어, 다양한 AI 가속기를 통합하는 시스템 소프트웨어의 필요성을 인정받은 결과”라며, “연구 성과를 산업 현장과 창업으로 확장할 수 있었다는 점에서 의미가 크다”고 말했다. 이어 “산업 파트너들과의 협력을 통해 차세대 LLM 서빙 인프라의 핵심 기술로 발전시켜 나가겠다”고 밝혔다.
이번 수상은 KAIST의 연구 성과가 학술 연구를 넘어 차세대 AI 인프라 기술과 창업으로 이어지고 있음을 보여주는 사례로 평가된다. 애니브릿지 AI 팀은 향후 카카오 및 관련 산업 파트너들과 협력해 기술 고도화와 실증을 진행하고, AI 인프라 소프트웨어 분야의 핵심 기술로 자리매김한다는 계획이다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
