Veja o projeto de demonstração do Runtime MetaHuman Lip Sync em ação, apresentando uma animação facial realista em tempo real, impulsionada por áudio em streaming de várias fontes: microfone ao vivo, reprodução do microfone, conversão de texto para fala local e na nuvem (ElevenLabs, vários idiomas) e reprodução de arquivos de áudio. Funciona com qualquer entrada de áudio em streaming, qualquer idioma, MetaHuman e personagens personalizados, totalmente multiplataforma. Experimente você mesmo ou pegue o projeto de origem (UE 5.6+).
https://dev.epicgames.com/community/learning/tutorials/VGM0/unreal-engine-fab-projeto-de-demonstracao-do-runtime-metahuman-lip-sync-sincronia-labial-em-streaming-em-tempo-real-com-microfone-tts-e-arquivos-de-audio