3D数字人arkit面部捕捉简化版流程

1.

要求使用国通行的面部表情编码来制作Blendshape 编码根据人的解剖学特点,将其划分成若干既相互独立又相互系的运动单元(AU),些运动单元控制相的面部区域,合起来就可以生成各种复的表情。FACS是如今面部表情肌肉运威参照准,我会要求按照AU范来分解面部运,制作对应Blendshape,同参考苹果的ARKit提供的 Blendshape接口( ARKit也遵循FACS)

面部AR示例官方文档:

https://docs.unrealengine.com/4.27/zh-CN/SharingAndReleasing/XRDevelopment/AR/ARHowTos/HandheldAR/FaceARSample/

Epic提供了一套面部AR示例工程,其中的技术结合了Apple的ARKit面部追踪系统。ARKit面部追踪系统使用一个内部的面部网格体,将其包裹到用户的面部,并作为模仿表情的基础。这套系统定义了51套BS姿势,对应了面部的51个部位方向的表情。

eyeLookUpLeft

eyeLookDownLeft

eyeLookInLeft

eyeLookOutLeft

eyeBlinkLeft

eyeWideLeft

扫描二维码关注公众号,回复: 15898801 查看本文章

eyeSquintLeft

cheekSquintLeft

eyeLookUpRight

eyeLookDownRight

eyeLookInRight

eyeLookOutRight

eyeBlinkRight

eyeWideRight

eyeSquintRight

cheekSquintRight

browInnerUp

browDownLeft

browDownRight

browOuterUpLeft

browOuterUpRight

cheekPuff

noseSneerLeft

noseSneerRight

jawOpen

jawForwardHalf

jawLeft

jawRight

mouthFunnel

mouthPucker

mouthLeft

mouthRight

mouthRollUpper

mouthRollLower

mouthShrugUpper

mouthShrugLower

mouthClose

mouthSmileLeft

mouthSmileRight

mouthFrownLeft

mouthFrownRight

mouthDimpleLeft

mouthDimpleRight

mouthUpperUpLeft

mouthUpperUpRight

mouthLowerDownLeft

mouthLowerDownRight

mouthPressLeft

mouthPressRight

mouthStretchLeft

mouthStretchRight

1.在maya里准备好带有52blendshape的标准人脸模型.(这里拿官方文件做示范)

2.导出fbx,导出设置为,勾选平滑模型组 其他默认,如有动画勾选动画

3.ue工程准备

查看对应的arkit插件是否安装

4.为基础网格体人物模型创建好材质 以及纹理贴图,创建动画蓝图。

5.在蓝图面板编译蓝图,连接livelinkface

6.可以看到连接后livelink节点下没有程序连接

7.使用iphoneX以上机型或者iphoneX下载livelinkface APP 进行调配设置去连接节点。

8.在APP左上角设置里进行配置文件 。

第一行LiveLink进入

 

添加目标,将当前电脑的局域网IP地址输入,其他设置可以不用管,手机连接局域网wifi

 

9.在蓝图里连接手机,启动工程,就可以看到里面的人物模型能捕捉到iphone摄像头下的人物动作了。

整个流程就结束了。

 当然还有更简单的方法 直接去epic官方下载官网示例文件,就不需要自己去配置arkit插件。

猜你喜欢

转载自blog.csdn.net/a497257637/article/details/129748446