Livelinkface面部捕捉，有不符合预期的动画数据

International 简体中文 (Simplified Chinese)
, ,
1

使用iphone手机的livelinkface面捕的时候，只做眨眼的情况下，嘴部也在不符合预期的微微抽动。

通过ue记录下来的动画序列，发现其中有下巴和嘴的相关动画曲线数据。

而实际上我们的面部演员没有动嘴，并且测试了ue5.5和ue5.7的官方metahuman工程都会有类似情况

IOS上的LiveLinkFace app版本： 1.6.0(169)

UE引擎是官方5.5.4和5.7.4都可复现

[Attachment Removed]

2

嗨，你好，几个事想确认一下

1、是否可以提供一下发生异常时手机端的视频，我们初步怀疑可能和光照环境有关

2、你们处理时是否用到了depth pipeline（例如Fab内的MetaHuman Animator Depth Processing Plugin）或者mono video pipeline

期待回复

[Attachment Removed]

3

你好，感谢回复，你们是用Level Sequence实时录制的吗？

为了更好的定位你的问题，是否可以描述一下你们的操作步骤供我们参考？

[Attachment Removed]

4

麻烦看一下这个文档

https://dev.epicgames.com/documentation/en\-us/unreal\-engine/recording\-face\-animation\-on\-ios\-device\-in\-unreal\-engine\#rawfacialrecordings

是否能拿到里面说的“Raw Facial Recordings”？

[Attachment Removed]

5

你好，和相关的开发者沟通了一轮，这应该不是你们的操作问题，而是一个已知Bug，后面会处理，但目前还不确定修复时间。

目前来看，给面部打光可以缓解这个问题但无法保证完全解决。短期内也可以尝试自己手动或写脚本去修复错误的曲线数据

[Attachment Removed]

6
  1. 我们是实时面部的。在捕捉的时候，我们会对面部进行补光。
    [Attachment Removed]
7

而且我们换过三个不同人脸，都存在同样问题

[Attachment Removed]

8

2.都没用到，我们理解depth pipeline是用于离线视频的，所以我们没有用到，至于mono video pipeline我们甚至不了解是什么

[Attachment Removed]

9

打开Iphone上的livelinkface App,

PC上打开livelinkhub连接Iphone手机,

在UE里拖入一个metahuman 的 角色到新建的空关卡里，打开livelinkface的选项，选择iphone的LivelinkSubject

被捕捉的人，只眨眼，得到的结果就是此前上传的视频

[Attachment Removed]

10

我们不是recording的方式

[Attachment Removed]

11

从录制到最终的AnimSequence通过Level Sequence记录然后导出来的吗？还是什么方式？

[Attachment Removed]

12

是的，我们保存的数据是通过TakeRecorder录下来保存的AnimSequence，我们检查过了里边有Jaw的表情曲线还有Mouth的表情曲线

[Attachment Removed]

13

是引擎的bug，还是livelink app的bug？

[Attachment Removed]

14

应该是引擎的，管线上的bug

[Attachment Removed]

15

好的

[Attachment Removed]