KAIST-마이크로소프트연구소 아시아, 뇌파로 ‘인지적 어긋남’ 포착하는 ‘신경 가치 정렬’기술 개발
일일이 말하거나 몸짓으로 알려주지 않아도, AI가 사람의 뇌에서 나오는 ‘이게 아닌데’라는 반응을 알아채 스스로 행동을 고치는 시대?가 다가오고 있다. KAIST 연구진이 뇌파로 사람과 AI의 인지적 어긋남을 포착해 AI가 사람의 목표에 맞춰 실시간으로 행동을 수정하는 기술을 개발했다. ‘명령하는 AI’에서 ‘의도를 눈치채는 AI’로의 변화를 앞당길 것으로 기대된다는 설명이다.
KAIST(총장 배충식)는 뇌인지과학과 이상완 석좌교수(신경과학-인공지능 융합연구센터장) 연구팀이 마이크로소프트연구소 아시아(Microsoft Research Asia)와 국제 공동연구를 통해 인간의 뇌파를 이용해 AI를 실시간으로 인간의 목표에 맞추는 차세대 뇌-컴퓨터 인터페이스(BCI) 기술인 ‘신경 가치 정렬(Neural Value Alignment, NVA)’을 개발했다고 9월 10일 밝혔다.
AI가 사람과 자연스럽게 협업하기 위해서는 사람이 실제로 무엇을 원하는지 정확하게 파악해야 한다. 하지만 지금까지 AI는 주로 사람의 말이나 행동, 몸짓 등 외부로 드러난 정보를 바탕으로 의도를 추정해 왔다.
문제는 같은 행동이라도 목적이 다를 수 있다는 점이다. 예를 들어 사람이 컵을 집더라도 직접 물을 마시려는 것인지, 다른 사람에게 건네려는 것인지 행동만 보고서는 구별하기 어렵다. 이러한 ‘목표-행동 모호성’ 때문에 AI가 사람의 의도를 잘못 이해하면 사용자가 다시 명령하거나 행동을 교정해야 했다.
연구팀은 이 문제를 해결하기 위해 사람이 예상과 다른 상황을 마주했을 때 뇌에서 무의식적으로 발생하는 ‘예측 오차’에 주목했다. 쉽게 말해 AI가 잘못된 행동을 했을 때 사람이 순간적으로 느끼는 “이게 아닌데”라는 뇌의 반응을 이용한 것이다.
특히 연구팀은 이 반응을 두 종류로 구분했다. AI가 사람의 궁극적인 목표 자체를 잘못 이해했을 때 나타나는 ‘보상 예측 오차(RPE)’와, 목표는 맞지만 행동 과정이나 방식이 예상과 다를 때 나타나는 ‘상태 예측 오차(SPE)’다.
연구팀은 AI가 작업하는 모습을 지켜보는 사람의 실시간 뇌파(EEG)를 측정했다. 그 결과, AI가 목표 자체를 잘못 이해했을 때와 목표는 맞지만 행동 방식이 잘못됐을 때 사람의 뇌가 서로 다른 신호를 보내는 것을 확인했다. 두 가지 오류가 동시에 발생했을 때 나타나는 특징적인 뇌파 패턴도 찾아냈다.
연구팀은 여기에 딥러닝을 적용해 뇌파만으로 사람이 AI의 행동을 어떻게 받아들이고 있는지를 구분하는 기술을 개발했다. 쉽게 말해 사람이 직접 “틀렸다”고 말하지 않아도, 뇌파를 통해 “목표가 틀렸다”거나 “방법이 틀렸다”는 반응을 AI가 알아챌 수 있게 한 것이다.
이어 이렇게 읽어낸 뇌 신호를 AI에 실시간으로 전달해 스스로 행동을 고치도록 하는 ‘신경 가치 정렬 기반 인간-AI 시너지’ 알고리즘을 제안했다.
AI는 상태 예측 오차(SPE)가 감지되면 “원하는 목표는 맞지만 방법이 잘못됐다”고 판단해 행동 방식을 바꾸고, 보상 예측 오차(RPE)가 나타나면 “목표 자체를 잘못 이해했다”고 판단해 사람이 실제로 원하는 것이 무엇인지 다시 찾는다는 설명이다.
시뮬레이션 결과, 사람의 목표가 갑자기 바뀌거나 일부 신호가 빠지는 등 불확실한 상황에서도 기존 방식보다 빠르게 사람의 의도 변화에 적응하는 것으로 나타났다고 KAIST 측은 전했다.
이번 연구의 핵심은 사람이 AI에게 계속 “이렇게 해”, “그게 아니야”라고 말하거나 몸짓으로 알려주지 않아도, AI가 사람의 무의식적인 ‘이게 아닌데’라는 뇌 반응을 읽고 스스로 행동을 고칠 수 있는 가능성을 보여줬다는 점이다.
향후 기술이 발전하면 가정이나 산업 현장의 피지컬 AI 로봇이 사용자의 의도를 보다 자연스럽게 파악하고 행동을 조정하는 데 활용될 수 있다. 자율주행차가 운전자의 판단을 빠르게 반영하거나, 말을 하거나 몸을 움직이기 어려운 환자가 의료·재활 로봇을 제어하고, AI가 학생의 인지 상태에 맞춰 학습을 돕는 기술로도 확장될 수 있다.
궁극적으로는 사람이 일일이 명령해야 움직이는 AI에서, 사람의 반응을 알아채고 스스로 맞춰가는 AI로 발전하는 새로운 인간-AI 협업 방식을 제시한 연구다.
이번 국제 공동연구를 주도한 이상완 교수는 “이번 연구는 인공지능이 눈에 보이는 행동 결과만으로 인간의 의도를 추정하던 기존 방식에서 벗어나, 행동 이면에서 발생하는 뇌의 인지 신호를 AI와의 협업에 직접 활용할 수 있음을 보여줬다는 데 의미가 있다”며, “향후 피지컬 AI, BCI, 자율주행, 정밀 맞춤형 교육, 의료용 로봇, 인간-컴퓨터 상호작용(HCI) 등 인간의 판단과 AI의 행동을 긴밀하게 연결해야 하는 다양한 분야로 확장될 수 있을 것”이라고 말했다.
마이크로소프트연구소 이미란 전무는 “이번 성과는 KAIST와 마이크로소프트연구소 아시아가 지속해 온 국제 공동연구의 결실”이라며, “앞으로도 양 기관의 협력을 통해 인간과 AI가 보다 자연스럽게 소통하고 협력할 수 있는 세계적 수준의 BCI 기술 개발을 이어갈 것으로 기대한다”고 말했다.
이번 연구에는 KAIST 뇌인지과학과 박사과정 서흔(Xin Xu) 학생이 제1저자로 참여했으며, 마이크로소프트연구소 아시아의 얀센 왕(Yansen Wang), 동치 한(Dongqi Han), 동쉔 리(Dongsheng Li) 박사 등이 공동 연구진으로 참여했다. 연구 결과는 사이버네틱스 분야 대표 국제 학술지 ‘IEEE 트랜잭션스 온 사이버네틱스(IEEE Transactions on Cybernetics)’에 2026년 8월 온라인 게재됐다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
