Veja o projeto de demonstração de Sincronia Labial do MetaHuman em Tempo de Execução em ação, mostrando animação facial realista em tempo real, impulsionada por áudio em streaming de várias fontes: microfone ao vivo, reprodução do microfone, conversão de texto em fala local e na nuvem (ElevenLabs, vários idiomas) e reprodução de arquivos de áudio. Funciona com qualquer entrada de áudio em streaming, em qualquer idioma, com MetaHuman e personagens personalizados, totalmente multiplataforma. Experimente você mesmo ou baixe o projeto-fonte (UE 5.6+).
https://dev.epicgames.com/community/learning/tutorials/VGM0/unreal-engine-fab-projeto-de-demonstracao-de-sincronia-labial-do-metahuman-em-tempo-de-execucao-sincronia-labial-em-streaming-em-tempo-real-via-microfone-tts-e-arquivos-de-audio