아바타가 사람의 얼굴 표정을 모방할 수 있게 됐다.
미국 MIT에서 발행하는 기술 분석 잡지인 MIT 테크놀로지 리뷰는 서던캘리포니아 대학교의 연구원들과 페이스북 오큘러스 사업부가 최근 VR 헤드셋 이용자의 얼굴 표정을 가상의 캐릭터에게 전달하는 기술 시연에 성공했다고 밝혔다.

개발된 시스템은 헤드셋에 장착된 3D 카메라를 사용해 사람 입모양의 움직임을 추적한다. 입 위에 위치한 얼굴의 움직임은 헤드셋에 얼굴을 고정시키기 위한 목적으로 폼 패딩에 덧붙여진 변형계(strain gauges)를 통해 측정되게 된다.

프로젝트를 이끈 서던캘리포니아 대학교(University of Southern California)의 하오 리(Hao Li) 교수는 “이 기술은 가상 세계에서 실제 인물과 아바타 간 상호작용을 더욱 강력하게 할 것”이라고 전했다. 이어 “이는 HMD(head-mounted display)를 통한 최조의 얼굴 트래킹 기술”이라며 “가상 세계에서 우리 모두는 우리 행동을 타인에게 전달할 수 있게 되기를 원한다”고 말했다. 

이렇게 얼굴의 움직임을 통해 추출된 두 형태의 데이터는 하나로 결합되며, 사용자 얼굴 움직임에 대한 정확한 3D 표현들을 만들어내 가상 캐릭터에 생동감을 부여하게 된다.



아바타가 사람의 실제 얼굴을 완벽히 모방하게 되면 가상 세계(Virtual Reality, VR)에서 다양한 놀이와 작업이 가능해질 전망이다. 
2013년 MIT 테크놀로지 리뷰(MIT Technology Review)의 젊은 혁신가로 선정된 바 있는 하오 리 교수는 “연구원들은 이 기술을 순수하게 연구 목적으로 개발하고 있지만, 상업용 제품으로 제작하는 것 역시 그리 어렵지 않다”며 “사람들이 중요한 애플리케이션으로 생각하게 된다면, 이 기술은 빠르게 대중화될 것”이라고 말했다.

하오 리 교수가 개발한 시스템의 핵심은 소프트웨어다. 소프트웨어는 얼굴의 위·아래 부분을 추적하는 센서 데이터를 결합시키며, 이 결과는 얼굴의 3D 모델과 접목된다.

한편, 하이 피델리티사(社)는 웹캠과 다른 센서 기술을 이용해, 보다 실제와 같은 가상 세계 속 상호작용에 대한 연구를 진행 중에 있다. 이 연구는 표정과 팔, 손동작 추적에 주안을 두고 진행 중이다.

하오 리 교수가 개발한 소프트웨어는 시스템 사용 전 몇 가지 절차를 필요로 한다. 먼저 3D 카메라 앞에서 디스플레이 부품이 제거된 헤드셋 착용 후, 얼굴 근육을 여러 표정으로 10초 정도 움직여야 한다. 그 후 완전한 헤드셋을 착용한 뒤, 다시 10초 동안 얼굴을 움직이면 이를 통해 수집된 데이터는 소프트웨어가 매치시키게 된다.

하오 리 교수는 “인간의 얼굴에 대한 많은 데이터를 현재 개발 중인 소프트웨어에 입력 중”이라며 “이 연구를 통해 불필요한 절차는 사라질 것”이라고 말했다.

이 연구는 8월 LA에서 열리는 Siggraph 컴퓨터 그래픽 컨퍼런스에서 발표될 예정이다.