‘언리얼 엔진 5 온디바이스 플러그인’ 공개, 고품질 오디오 기반 페이셜 애니메이션 생성 간소화

엔비디아가 언리얼 페스트 시애틀 2024(Unreal Fest Seattle 2024)에서 엔비디아 ACE(NVIDIA ACE)를 위한 새로운 언리얼 엔진 5 온디바이스 플러그인(Unreal Engine 5 on-device plugin)을 출시한다고 밝혔다.

언리얼 엔진 5 온디바이스 플러그인은 윈도우 PC(Windows PC)에서 AI 기반 메타휴먼(MetaHuman) 캐릭터를 더 쉽게 제작하고 배포할 수 있도록 지원한다. 엔비디아 ACE는 생성형 AI로 구동되는 음성, 지능, 애니메이션을 제공하는 디지털 휴먼 기술 제품군이다. 
 
또한 개발자들은 오토데스크 마야(Autodesk Maya)에서 AI 기반 페이셜 애니메이션(Facial Animation)을 위한 새로운 오디오투페이스-3D(Audio2Face-3D) 플러그인을 이용할 수 있다. 이 플러그인은 간단하고 간소화된 인터페이스를 제공해 마야에서 아바타를 더 쉽고 빠르게 개발할 수 있도록 도와준다. 이 플러그인에는 소스 코드가 함께 제공되므로 개발자는 원하는 디지털 콘텐츠 제작(Digital Content Creation, DCC) 툴을 위한 플러그인을 직접 개발할 수 있다.

엔비디아는 에픽(Epic)의 언리얼 픽셀 스트리밍 기술(Unreal Pixel Streaming technology)을 활용하는 언리얼 엔진 5 렌더러 마이크로서비스도 구축했다.

이 마이크로서비스는 현재 얼리 액세스 버전으로 엔비디아 ACE 애니메이션 그래프 마이크로서비스(Animation Graph Microservice)와 리눅스(Linux) 운영 체제를 지원한다. 애니메이션 그래프 마이크로서비스는 사실적이고 반응이 빠른 캐릭터 움직임을 구현하며, 언리얼 픽셀 스트리밍을 지원해 메타휴먼 창작물을 모든 디바이스로 스트리밍할 수 있다. 

개발자는 지적 재산에 대한 데이터베이스를 구축하고, 짧은 지연 시간으로 관련 응답을 생성할 수 있다. 그리고 이러한 응답이 언리얼 엔진 5에서 해당 메타휴먼 페이셜 애니메이션을 원활하게 구동하도록 설정할 수 있다. 이러한 각 마이크로서비스는 지연 시간이 짧고 메모리 공간을 최소화하는 윈도우 PC에서 실행되도록 최적화돼 있다.

새로운 플러그인들은 곧 출시될 예정이다. 이를 실행하려면 메타휴먼 캐릭터와 함께 적절한 ACE 플러그인과 언리얼 엔진 샘플을 다운로드 해야 한다.