컨볼루션 신경망 아키텍쳐, 상용 음성인식 처리 속도 대폭 향상 기대 

미디어젠(대표 고훈)은 구글이 개발한 대표적인 E2E 음성인식 시스템인 ‘컨포머(Conformer)’를 벤치마킹해 기존 컨포머의 성능을 그대로 유지하면서도 처리 속도를 약 40% 가량 향상 시킬 수 있는 새로운 컨볼루션 네트워크 구조가 증강된 트랜스포머 기반의 음성인식 시스템을 개발했다고 26일 밝혔다.

이번 기술 개발은 한국전자통신연구원(ETRI)의 연구인력 현장지원 프로그램을 통해 이뤄졌으며, ETRI의 이성주 책임 연구원과 미디어젠의 윤종성 AIMZ 연구소장 등 음성인식 전문 인력들이 참여했다.



LJSpeech 데이터셋을 이용한 음성인식 실험결과, 구글의 컨포머는 CER 4.8%, WER 19.6%의 성능을 보였고, 가칭 ‘AIMZformer’(미디어젠 음성인식 시스템)는 CER 4.8%, WER 19.2%의 성능을 각각 확인했다. 이를 바탕으로 구글 컨포머 수준의 음성인식 성능이 유지하는 것을 알 수 있으며, 처리 속도는 컨포머 서브샘플링 40ms 대비 80ms로 크게 향상됐음을 확인할 수 있다. 이로 인해 학습시간이 약 40% 가량 절약된다.

참고로 베이스라인이 되는 트랜스포머 기반의 음성인식 시스템은 CER 6.9%, WER 23.0%의 인식 성능을 나타내고 있는데, 본 실험에서는 순수한 신경망의 성능을 평가하기 위해 빔서치(beam search) 등의 백엔드 처리를 수행하지 않고, 아웃풋 노드의 범주형 교차 엔트로피만으로 학습 및 평가가 진행됐으며, 음성인식에 필요한 유닛으로는 알파벳 기반의 캐릭터(character)를 이용해 인식 난이도가 높다.

구글 컨포머가 엔코더 성능에 집중하는데 반해 이번에 개발된 미디어젠 AIMZ 연구소의 컨볼루션 구조는 범용성에 그 초점을 맞추고 있기 때문에 엔코더뿐만 아니라 디코더의 성능을 향상시켜주는 장점을 갖고 있다. 특히 미디어젠은 임베디드 솔루션 개발에도 경쟁력을 갖고 있으며, 향후 AI 로봇이나 소형 전자 기기 등 네트워크가 없는 전자기기에 탑재할 수 있는 빠른 속도의 엔진 공급을 추진 중이다.

미디어젠 AIMZ 연구소의 윤종성 소장은 “이번 신기술의 개발로 음성인식 성능을 유지하면서도 처리 속도를 크게 높인 자체 컨포머 기술을 확보함으로써 음성인식 반응 속도에 불만을 갖는 사용자들의 만족도를 크게 향상시킬 수 있게 됐다”면서 “향후 음성인식 기술이 활용되는 사업 전반에 속도 개선이 이뤄질 것”이라고 밝혔다.

한편 미디어젠 AIMZ 연구소에서는 음성인식 속도에 초점을 맞춘 다양한 기술 개발뿐만 아니라 하나의 음성인식 모델로 다국어 음성인식을 할 수 있는 기술을 이미 갖추고 있으며, 글로벌 플랫폼 기업들과 동등한 수준의 국제적 기술 경쟁력을 갖추기 위해 새로운 거대 모델(LLM) 개발도 병행 중에 있다.