三维人脸方向个人总结

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/baidu_26408419/article/details/80729689

1.人脸分割:

①我的二维人脸分割代码,以及对Kinect拍摄的三维人脸分割,两个程序比较鲁棒。可以处理不同姿势的人脸,未来可以加入多表情。(2D训练库加入带表情的彩色分割图+3D BFM库加入带表情的人脸)

②一些深度学习的语义分割的模型,例如deeplab-v3等等,运用到人脸分割领域,应该效果显著

2.三维人脸重建

①基于深度学习的结果,然后再利用传统的优化什么loss的方法。还有一些论文比较牛逼值得复现,重建结果比较好,可以看看论文1,2。

3.三维去噪

①论文3效果良好,并且提供源代码。也是描述符+机器学习模型结构,可以在描述符以及机器学习模型上进行替换,改善效果。

4.三维人脸特征点预测

效果好的方法一般都是要借助于二维人脸图像的,三维描述符来直接预测的方法一般来说效果一般。所以有以下思路:

思路①直接有二维彩色图(例如kinect拍摄的人物),那只要建立一个映射矩阵,投影到三维模型就行了(映射矩阵:①用深度相机以及彩色相机的内外参数矩阵即可,但是深度相机以及彩色相机参数配准这一步骤很重要,两个摄像头存在一定偏差,有的论文就是解决这个问题②求近似矩阵,用posit算法求近似矩阵,像我的“对Kinect拍摄的三维人脸分割”就是这样做的)

思路②通过投影(正交等),自己生成彩色图,这个只能适用于有彩色纹理的三维模型

 思路③普通的三维mesh模型,要借助于图像,只能生成二维的深度图,在二维深度图上能良好预测特征点的话(这一目标可以用深度学习在深度图上学习预测二维特征点),根据深度相机参数反投影到三维模型即可。

思路④不借助图像,直接用一些三维描述符等方法来预测,反正没看见过效果非常好的,要么只能正脸,要么带表情的不行,鲁棒性都一般好像。可以自己多去看看相关论文,改良实现一下,例如论文4。

5.三维模型的XYZ姿势预测

①参见论文5,他第一步骤预测X轴用的曲率,只要替换那种对于人脸两侧有相同表现的三维描述符,实验结果应该可以提升。(实在不行可以用手动来提升这一步骤效果)

6.三维mesh-deformation形变

①非常有意思的一个课题方向,核心在于:实现对某个loss的优化算法,可以借助于matlab优化算法库,或者libigl库(C++,并且有拉普拉斯变形等几个mesh deformation的例子)。

最经典的就是骆驼变马那个例子:https://github.com/Golevka/deformation-transfer,

应用①就是例如3DMM是100个顶点,100个face;实际人脸是50个顶点,50个face;根据若干组匹配点变形以后,实际人脸外形不变,但是变成100个顶点,100个face了。(作用是把乱七八糟的人脸,变成统一结构的人脸数据,例如3DMM形状)

应用②我有人物A的一组中性以及其他表情的数据,人物B只有中性数据:我可以利用形变算法,生成人物B的其他表情。

7.其他计算机视觉方向:

①(三维)人脸识别

②语义分割(现有的精度有待提高)

③很有难度的:

.计算机理解图像,例如给你一张图,计算机说出:一个人在骑马啥的;

.说一句话(文字描述),然后图像自己生成一幅相应的图像

④GAN:图像风格转化;噪声生成某一类图像(例如自己生成很多不同的斑点狗图像);

https://zhuanlan.zhihu.com/p/24767059

⑤强化学习:机器自己学习游戏策略等

http://www.cnblogs.com/steven-yang/p/6649213.html

Q学习:https://blog.csdn.net/u013405574/article/details/50903987

⑥等等其他有趣的想法


8.三维人脸数据库

3DMM三维人脸模型:

①  不带表情:BFM数据库matlab开源。(可以改写然后生成不同姿势,不同光照模型的彩色图)

②  带表情的3DMM模型:https://github.com/fengju514/Expression-Net

https://github.com/anhttran/3dmm_cnn


附录:

论文1:Disentangling Features in 3D Face Shapes for Joint FaceReconstruction and Recognition

论文2:MoFA: Model-based Deep Convolutional Face Autoencoder forUnsupervised Monocular Reconstruction

论文3:Mesh Denoising via Cascaded Normal Regression

论文4:Real-time 3D Head Pose and Facial Landmark Estimation from DepthImages Using Triangular Surface Patch Features

论文5:An Intrinsic Coordinate System for 3D Face Registration

猜你喜欢

转载自blog.csdn.net/baidu_26408419/article/details/80729689