BlueRose
文章97
标签28
分类7
Ue4FaceARSample以及其他iphone面捕方案笔记

Ue4FaceARSample以及其他iphone面捕方案笔记

2020.7.15

epic在ios App Store上上架了一个用于面捕的app,名叫live link face。不过好像只能在4.25及以上版本使用

文档与视频

https://docs.unrealengine.com/zh-CN/Platforms/AR/HandheldAR/FaceARSample/index.html

https://www.youtube.com/watch?v=AIHoDo7Y4_g

前提条件

  1. 这个APP没有上架APPStore,所以需要大家自己下载FaceARSample工程并打包。因为你至少需要拥有一台MAC,想生成IPA文件则需要购买开发者证书。
  2. 需要在光线充足的环境中录制。
  3. 对应的角色的面部需要有对应的51个morph,具体的可以参考文档。
  4. 你必须有一台iPhone X以上的iphone。

大致步骤

  1. 第一次运行需要打开菜单,点击Calibration Mode,进行校准。(眼睛、帽子会影响校准)
  2. 如果使用LiveLink将数据传回PC,那么就需要在之前点击FaceTracingMap2中的角色,再点击Calibrate In Editor进行校准。
  3. 使用Sequencer提供的录制功能进行录制。录制结果为Animation Sequence。之后就可以导出FBX了。

安装APP

如果你没有MAC或者不想花100刀购买开发者证书,你可以选择使用低版本IOS的iphone(大致是2019年9月前的版本),再配合Cydia Impactor工具安装别人打包的IPA(需要7天重新安装一次)。当然也可以选择越狱的iphone。

本人因为手机已经升级过系统了,所以无法进行下一步测试。

其他

本人还查到了其他解决方案,隧在此分享。

FaceCap与AdvancedSkeleton

FaceCap是AppStore上一款收费的APP(可以免费录制3s动画进行测试)。使用FaceCap录制面部动画,从手机中将生成的fbx文件拷贝的电脑上。之后再通过AdvancedSkeleton插件映射到绑定角色上。

具体操作可以查看AdvancedSkeleton出品的教程:
https://www.youtube.com/watch?v=ouf8jDMsXwE

但是这个流程有个问题,就是文件需要拷来拷取,十分不便。并且App无法像官方工程那样进行定制以提高制作效率。

FX-Facial-Flow

于是另一个问题就产生了:制作的51个morph。

我之前一直以为制作morph只需要让动画师移动一下模型的顶点就可以搞定了。但在和一个动画师朋友沟通发现,这个过程需要一个专业模型师与动画师通力合作才能完成。同时制作的morph无法直接在其他模型上使用。

在这里他推荐了FX-Facial-Flow,我也大致看了一下说明。应该是使用opencv以及一些深度学习技术。感觉可以提高制作效率。

因为价格不贵,同时还附带教程,所以推荐给大家(本人没有用过):
https://www.aboutcg.org/courseDetails/666/introduce