ヴァーチャルYoutuberの口パク

Development Audio
, , , , , ,
1

いつもお世話になっております。

現在、IKinemaを使用してヴァーチャルYoutuberを試験的に制作しております。
しかし、”口パク”の壁にぶち当たってしまいました。
WAVデータを読み込み、自動で口パク(モーフ)をさせたいのですが、方法がわからず困っています。※口パクは、フォルマント解析などは行わず、口の開閉(上下)のみで賄おうとしています。

Youtube動画の制作過程としては
【音声収録】
　　↓
【UE4のシーケンサーを使用し、音に合わせてモーション(IKinema)を収録】
　　↓
【WAVデータを読み込み、口の開閉を自動でおこなう】
といった手順を踏んでいく予定です。

ブループリントの組み方すらままならない初心者ですが、皆様のお力添えをいただけたらと存じます。
よろしくお願い致します。

2

アニメーションやモーフに関して全くの素人なのですが「UE4 LipSync」と調べてみた所以下のようなページが出てきました。

OVRLipSync Plugin for UE4

・Oculus社が提供している OVRLipSync をUE4に移植したものらしいです。サンプルプロジェクトも同梱されているようです。

UE4でVR空間にカノジョを錬金 24日目

・Unity上で音声解析を行ないモーフデータを取り出しUE4にインポートする。という手法でリップシンクを行うようです。

コハクのまほう-MAGIC OF KOHAKU- ユニティちゃんキャンディロックスターをUE4へ

・こちらも上記と同様の方法でリップシンクを行っています。

参考になれば幸いです。