[XR]人脸捕捉(Unity + iPhone)快速简易版

我使用的开发环境：

1. Windows 10 专业版;
2. Unity 2020.3.23f1c1 (64-bit);
3. iPhone12Pro(15.1.1);
4. 模型来源：Daz 3D - 3D Models and 3D Software | Daz 3DAt Daz 3D, download our free 3D software and shop free and premium 3D models, animations, and more to create your realistic universe.https://www.daz3d.com/

步骤：

1. 将手机和电脑接入同一局域网段(简单说就是子网掩码一致，IP地址前3段一致);
2. AppStore上下载FaceCapture(Unity官方开发的，发布者Unity Technologies ApS);
3. 打开Unity Hub，创建HDRP工程;
4. 打开工程，在PackManager里使用"Add package from git URL"下载live capture，URL填入com.unity.live-capture，安装，也可以把自带的实例资源一起安装，示例资源可以直接使用;
5. 导入人脸模型，注意BlendShape命名，最好符合苹果的ARKit要求，否则需要自己一个一个表情对（52个）；
6. 场景中创建gameobject，挂载组件TakeRecorder，添加CaptureDevice (ARKit Face Device)，用于选择采集数据的设备；
7. 场景中添加模型，挂载组件ARKitFaceActor，将模型节点生成独立prefab；
8. 指定第6步创建的ARKitFaceDevice的Actor字段为第7步的对象；
9. 在Project资源窗口创建一个FaceMapper(右键 => Create => Live Capture => ARKit Face Capture => Mapper
10. 编辑第9步的Mapper，可以点击Inspector上的锁标志，方便编辑，
    1. RigPrefab指定为第7步生成的prefab，双击prefab(锁定Mapper的Inspector是方便此操作)；
    2. 从模型的Rig里找到左右眼分别填入对应位置；
    3. 同理指定好头部节点；
    4. 点击Mapper的Add Renderer，选择模型中主Mesh，看到+号就可以随便点了，如果第5步按要求做，这时应该自动对齐所有表情的BlendShape了，否则自己一个一个绑定；
11. 将编辑好的Mapper指定给Prefab里的ARKitFaceActor组件Mapper字段；
12. 开启unity服务器，Window => Live Capture => Connections，点击Create Server，默认端口9000，这里注意要编辑Windows的防火墙入站规则，开放对应端口的访问；
13. 点击Play，启动手机App，连接服务器，应该就可以看到虚拟形象的面捕表情和你自己的表情同步了。

可能遇到的问题：

1. 手机app链接不上服务器：
   1. 手机和电脑是否在同一网段；
   2. 检查Windows防火墙入站规则，是否已开放端口；
   3. Unity的服务器是否启动；
2. 面捕不响应：
   1. 检查第6步中的ARKit Face Device组件，ClientDevice字段是否有值，这个值就是手机名，这个值可以在运行时实时切换；
3. 虚拟人物表情不对：
   1. 检查第10步Mapper的设置，注意BlendShape名称的绑定；

参考：

1. 首选官方文档：About Live Capture | Live Capture | 1.0.1 https://docs.unity.cn/Packages/[email protected]/manual/index.html
2. 官方pdf地址：https://forum.unity.com/attachments/live-capture-apps-startup-guide-pdf.961348/https://forum.unity.com/attachments/live-capture-apps-startup-guide-pdf.961348/
3. 苹果ARKit文档：Apple Developer Documentationhttps://developer.apple.com/documentation/arkit/content_anchors/tracking_and_visualizing_faces
4. 苹果ARKit面捕BlendShape命名规范：Apple Developer Documentationhttps://developer.apple.com/documentation/arkit/arfaceanchor/blendshapelocation
5. 其他参考：

吐槽：

1. Unity的这个App不太稳定，容易崩，没unreal的live link face稳定；
2. 启动一会儿App天线部位会很烫；