확실한 단어부터 인식하고 나머지는 문맥으로 추론…영어 평가서 단어 오류율 19.4%
EMNLP 2026’에서 우수논문상(Outstanding Paper Award) 수상(왼쪽부터 노영만 교수, 여정훈 박사후연구원(KAIST 제1저자))
KAIST는 전기및전자공학부 노용만 교수 연구팀이 입술 움직임을 보고 말을 문자로 바꾸는 ‘시각적 음성 인식(Visual Speech Recognition, VSR)’의 정확도를 높이는 기술을 개발했다고 11월 15일 밝혔다.
서로 다른 소리도 입 모양이 비슷하면 영상만으로는 구별하기 어렵다. 기존에 널리 쓰이는 방식은 문장 첫머리부터 순서대로 단어를 생성하기 때문에 앞부분에서 단어를 잘못 인식하면 그 오류가 뒤에 나오는 단어에도 영향을 줄 수 있다.
KAIST 노영만 교수팀은 문장의 빈칸을 여러 차례에 걸쳐 채우는 ‘확산 대형 언어 모델(Diffusion Large Language Model, DLLM)’을 적용했다. 이 모델은 인식 신뢰도가 높은 단어부터 확정한다. 이렇게 먼저 알아낸 단어를 단서로 삼아 앞뒤 문맥을 살피며 모호한 부분을 채운다.
학습은 두 단계로 나눴다. 먼저 영상 속 입술 움직임을 발화 내용과 연결하도록 학습시킨 뒤, 문장의 길이도 파악하도록 했다. 실제 인식 과정에서는 영상 길이를 바탕으로 가능한 문장 길이를 여러 개 추정하고, 각 길이에서 생성한 문장을 비교해 최종 결과를 선택한다.
연구팀은 영어 영상 데이터셋 ‘LRS3’에서 단어 오류율(WER) 19.4%를 기록했다. 논문에서 비교한 기법 중 정답 전사문이 붙은 학습 데이터로 433시간 분량의 LRS3만 사용한 경우 가장 낮은 오류율이다. 단어 오류율은 잘못 인식하거나 빠뜨리거나 덧붙인 단어 수를 정답의 전체 단어 수로 나눈 값이다.
이 기술은 기계 소음이 큰 산업 현장에서 작업자의 말을 문자로 전달하거나 청각장애인과 난청인의 의사소통을 돕는 데 활용될 수 있다. 연구팀은 모델 크기와 연산량을 줄여 웨어러블 기기나 로봇에서 인터넷 연결 없이 실시간으로 작동하도록 하는 후속 연구를 이어갈 계획이다.
노용만 교수는 “이번 연구는 인공지능이 단어를 생성하는 순서를 유연하게 제어하는 것만으로도 시각적 모호성을 지닌 음성 인식의 근본적 한계를 극복할 수 있음을 입증했다는 데 의미가 있다”며 “실제 생활과 산업 현장의 다양한 기기에서 신뢰하고 사용할 수 있는 물리적 인공지능(Physical AI)의 기반을 마련할 것”이라고 말했다.
이번 연구에는 KAIST 전기및전자공학부 여정훈 박사후연구원이 제1저자로, 김채원·라형섭 박사과정 연구원이 공저자로, 노용만 교수가 교신저자로 참여했다. 연구 논문은 자연어 처리 분야 국제학술대회 ‘EMNLP 2026’에서 우수논문상(Outstanding Paper Award)을 받았다.
이번 연구는 정보통신기획평가원의 장기 시각 기억 네트워크 기반 예지 지능 개발사업과 KAIST 장영실 펠로우 프로그램 등의 지원을 받아 수행됐다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
