Mira el proyecto de demostración de sincronización labial de MetaHuman en tiempo de ejecución en acción, que muestra una animación facial realista en tiempo real impulsada por audio en streaming desde varias fuentes: micrófono en vivo, reproducción del micrófono, texto a voz local y en la nube (ElevenLabs, varios idiomas) y reproducción de archivos de audio. Funciona con cualquier entrada de audio en streaming, cualquier idioma, MetaHuman y personajes personalizados, totalmente multiplataforma. Pruébalo tú mismo o consigue el proyecto fuente (UE 5.6+).
https://dev.epicgames.com/community/learning/tutorials/dqde/unreal-engine-fab-proyecto-de-demostracion-de-sincronizacion-labial-de-metahuman-en-tiempo-de-ejecucion-sincronizacion-labial-por-streaming-en-tiempo-real-desde-microfono-tts-y-archivos-de-audio