MugLife静态照片变3D动画算法研究

MugLife app是一款可以将静态照片变成3D动画的手机应用,如下效果图所示:



大家可以看到,这个静态图具有了类3D的动画特效,是不是很好玩?

这种算法是如何实现的呢?

这里给出一篇论文“Bringing Portraits to Life”Siggraph Asia 2017

这篇论文就是通过二维图像算法来实现静态图的3D动画效果的。

下面我们来讲解一下具体的算法实现过程:

首先根据一段视频,将目标静态图动画处理

整体流程:

将视频帧定义为S(i),目标静态图为T

根据S(i)生成T(i);

1,单张图处理:

①人脸识别+点位对齐

红色点为人脸特征点68个;

黄色点为估算点位;

②构建三角网格变形


③根据S(i)的点位变化,预测T(i)点位变化,对T(i)进行三角变形

效果图:


2,细节修复

①嘴巴填充

泊松融合

②脸部皱纹阴影迁移

上述流程串起来,就是整个算法过程,用户输入一张照片,导入动画模版即可实现照片动画效果了,Muglife因该就是根据这篇论文来做的,不过可能在此基础上添加了其他的算法优化等等。

本人的效果如下:

原图:

效果图GIF(来自视频截图,质量受到的影响可以忽略):


上述效果仅仅是一个人脸左右旋转,其他效果可以替换不同的视频帧序列模型即可。算法原理就讲解到这里了,代码就不贴了。

本人QQ1358009172


猜你喜欢

转载自blog.csdn.net/trent1985/article/details/79487573