KAIST, 모델 구조 달라도 적응 지식 전달 가능… 초거대 AI ‘지식 패치’ 가능성 제시
새 스마트폰을 바꿀 때마다 연락처와 사진을 처음부터 다시 옮겨야 한다면 큰 불편이 따른다. 지금까지 인공지능(AI) 모델의 발전 과정도 이와 크게 다르지 않았다. 더 성능이 뛰어난 새로운 AI 모델이 등장할 때마다, 특정 분야의 지식을 갖추기 위해 막대한 데이터와 비용을 들여 다시 학습해야 했기 때문이다. 국내 연구진이 이러한 비효율을 해결할 수 있는 AI 모델 간 ‘지식 이식’ 기술을 개발했다.
KAIST(총장 이광형)는 전산학부 김현우 교수 연구팀이 고려대학교 연구팀과 공동연구를 통해, 서로 다른 인공지능 모델 사이에서 학습된 지식을 효과적으로 전달할 수 있는 새로운 기술 ‘TransMiter’를 개발했다고 1월 27일 밝혔다.
최근 인공지능 분야에서는 이미지와 텍스트를 함께 이해하는 시각·언어 모델(Vision-Language Model, VLM)이 빠르게 발전하고 있다. 사용자가 사진을 보여주며 질문하면 설명을 제공하는 멀티모달 AI가 대표적이다. 이러한 모델은 대규모 이미지·언어 데이터를 사전 학습해, 비교적 적은 데이터만으로도 새로운 도메인에 빠르게 적응할 수 있다는 장점이 있다.
하지만 새로운 AI 모델이 등장할 때마다 이 같은 적응 과정을 처음부터 다시 수행해야 한다는 점은 큰 비효율로 지적돼 왔다. 기존 적응 기법들은 모델 구조나 크기가 조금만 달라져도 재사용이 어렵거나, 여러 모델을 동시에 운용해야 해 메모리·연산 비용이 급격히 증가하는 한계를 안고 있었다.
연구팀은 이러한 문제를 해결하기 위해, 모델의 구조나 크기와 무관하게 학습된 지식을 재사용할 수 있는 전이 가능한 적응 기법(Transferable Adaptation)인 ‘TransMiter’를 제안했다. 이 기술의 핵심은 한 AI 모델이 학습 과정에서 축적한 ‘적응 지식’을 다른 AI 모델로 직접 옮길 수 있다는 점이다.
TransMiter는 AI의 내부 구조를 수정하지 않고, 예측 결과(output)를 기반으로 학습된 요령을 전달하는 방식이다. 서로 구조가 다른 AI 모델이라도 동일한 질문에 대한 출력 결과를 정리해 전달함으로써, 한 모델이 익힌 적응 노하우를 다른 모델이 즉시 활용할 수 있다. 이로 인해 복잡하고 시간이 많이 드는 후학습(post-training) 과정을 반복할 필요가 없으며, 성능 저하도 거의 발생하지 않는다.
이번 연구는 그동안 모델 구조나 크기가 다르면 재사용이 불가능하다고 여겨졌던 AI 적응 지식을, 모델 종류와 관계없이 정밀하게 이식할 수 있음을 처음으로 입증했다는 점에서 의미가 크다. 이를 통해 반복적인 학습 비용을 획기적으로 줄일 수 있을 뿐 아니라, 초거대언어모델에 특정 전문 지식을 필요에 따라 추가·갱신하는 이른바 ‘지식 패치(patch)’ 기술로의 확장 가능성도 제시했다.
김현우 교수는 “이번 연구는 빠르게 발전하는 초거대언어모델 환경에서 반복적으로 수행해야 했던 후학습 비용을 크게 줄일 수 있는 기반 기술”이라며, “특정 도메인 지식을 손쉽게 추가하는 ‘모델 패치’가 가능한 AI 활용 방식으로 이어질 것”이라고 설명했다.
이번 연구에는 KAIST 전산학부 송태훈 석사과정 학생, 이상혁 박사후연구원, 고려대학교 박지환 박사과정 학생이 공동 저자로 참여했으며, 김현우 교수가 교신저자를 맡았다. 연구 결과는 인공지능 분야 최고 권위의 국제 학술대회인 AAAI 2026(Association for the Advancement of Artificial Intelligence)에 구두 발표 논문으로 채택돼, 1월 25일 발표됐다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
