BlueRoseNote/03-UnrealEngine/Animation/Ue4的面部捕捉方案.md
2023-06-29 11:55:02 +08:00

40 lines
2.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

## 文档与视频
https://docs.unrealengine.com/zh-CN/Platforms/AR/HandheldAR/FaceARSample/index.html
https://www.youtube.com/watch?v=AIHoDo7Y4_g
## 前提条件
1. 这个APP没有上架APPStore现在已经上架了所以需要大家自己下载FaceARSample工程并打包。因为你至少需要拥有一台MAC想生成IPA文件则需要购买开发者证书。
2. 需要在光线充足的环境中录制。
3. 对应的角色的面部需要有对应的51个morph具体的可以参考文档。
4. 你必须有一台iPhone X以上的iphone。
## 大致步骤
1. 第一次运行需要打开菜单点击Calibration Mode进行校准。眼睛、帽子会影响校准
2. 如果使用LiveLink将数据传回PC那么就需要在之前点击FaceTracingMap2中的角色再点击Calibrate In Editor进行校准。
3. 使用Sequencer提供的录制功能进行录制。录制结果为Animation Sequence。之后就可以导出FBX了。
### 安装APP
如果你没有MAC或者不想花100刀购买开发者证书你可以选择使用低版本IOS的iphone(大致是2019年9月前的版本)再配合Cydia Impactor工具安装别人打包的IPA需要7天重新安装一次。当然也可以选择越狱的iphone。
本人因为手机已经升级过系统了,所以无法进行下一步测试。
## 其他
本人还查到了其他解决方案,隧在此分享。
### FaceCap与AdvancedSkeleton
FaceCap是AppStore上一款收费的APP可以免费录制3s动画进行测试。使用FaceCap录制面部动画从手机中将生成的fbx文件拷贝的电脑上。之后再通过AdvancedSkeleton插件映射到绑定角色上。
具体操作可以查看AdvancedSkeleton出品的教程
https://www.youtube.com/watch?v=ouf8jDMsXwE
但是这个流程有个问题就是文件需要拷来拷取十分不便。并且App无法像官方工程那样进行定制以提高制作效率。
### FX-Facial-Flow
于是另一个问题就产生了制作的51个morph。
我之前一直以为制作morph只需要让动画师移动一下模型的顶点就可以搞定了。但在和一个动画师朋友沟通发现这个过程需要一个专业模型师与动画师通力合作才能完成。同时制作的morph无法直接在其他模型上使用。
在这里他推荐了FX-Facial-Flow我也大致看了一下说明。应该是使用opencv以及一些深度学习技术。感觉可以提高制作效率。
因为价格不贵,同时还附带教程,所以推荐给大家(本人没有用过):
https://www.aboutcg.org/courseDetails/666/introduce