1. 简述
要求使用国际通行的面部表情编码系统来制作Blendshape, 这套编码系统根据人脸的解剖学特点,将其划分成若干既相互独立又相互联系的运动单元(AU),这些运动单元控制相应的面部区域,组合起来就可以生成各种复杂的表情。FACS是如今面部表情肌肉运动的权威参照标准,我们会要求按照标准AU的规范来分解面部运动,制作对应的Blendshape,同时参考苹果的ARKit提供的 Blendshape接口( ARKit也遵循FACS标准)
面部AR示例官方文档:
Epic提供了一套面部AR示例工程,其中的技术结合了Apple的ARKit面部追踪系统。ARKit面部追踪系统使用一个内部的面部网格体,将其包裹到用户的面部,并作为模仿表情的基础。这套系统定义了51套BS姿势,对应了面部的51个部位方向的表情。
eyeLookUpLeft
eyeLookDownLeft
eyeLookInLeft
eyeLookOutLeft
eyeBlinkLeft
eyeWideLeft
eyeSquintLeft
cheekSquintLeft
eyeLookUpRight
eyeLookDownRight
eyeLookInRight
eyeLookOutRight
eyeBlinkRight
eyeWideRight
eyeSquintRight
cheekSquintRight
browInnerUp
browDownLeft
browDownRight
browOuterUpLeft
browOuterUpRight
cheekPuff
noseSneerLeft
noseSneerRight
jawOpen
jawForwardHalf
jawLeft
jawRight
mouthFunnel
mouthPucker
mouthLeft
mouthRight
mouthRollUpper
mouthRollLower
mouthShrugUpper
mouthShrugLower
mouthClose
mouthSmileLeft
mouthSmileRight
mouthFrownLeft
mouthFrownRight
mouthDimpleLeft
mouthDimpleRight
mouthUpperUpLeft
mouthUpperUpRight
mouthLowerDownLeft
mouthLowerDownRight
mouthPressLeft
mouthPressRight
mouthStretchLeft
mouthStretchRight
1.在maya里准备好带有52blendshape的标准人脸模型.(这里拿官方文件做示范)
2.导出fbx,导出设置为,勾选平滑模型组 其他默认,如有动画勾选动画
3.ue工程准备
查看对应的arkit插件是否安装
4.为基础网格体人物模型创建好材质 以及纹理贴图,创建动画蓝图。
5.在蓝图面板编译蓝图,连接livelinkface
6.可以看到连接后livelink节点下没有程序连接
7.使用iphoneX以上机型或者iphoneX下载livelinkface APP 进行调配设置去连接节点。
8.在APP左上角设置里进行配置文件 。
第一行LiveLink进入
添加目标,将当前电脑的局域网IP地址输入,其他设置可以不用管,手机连接局域网wifi
9.在蓝图里连接手机,启动工程,就可以看到里面的人物模型能捕捉到iphone摄像头下的人物动作了。
整个流程就结束了。
当然还有更简单的方法 直接去epic官方下载官网示例文件,就不需要自己去配置arkit插件。