一、3D 人脸任务
- 3D Face Alignment. 从2D图像到3D 关键点回归(例如68个关键点)
- 3D Dense Face Alignment. 从2D图像到3D稠密关键点回归，上万个关键点的人脸模型，例如3DMM模型，将问题转换为对参数的回归.
- 3D face reconstruction. 从一张2D图像中重建出人脸的3D点云模型，即除了形状之外，还要包含每个点的纹理信息(RGB值).
二、数据集
| 序号 | 名称 | 任务 | 数量 | 数据格式 | 备注 |
|---|---|---|---|---|---|
| 1 | 300W-LP | 关键点/重构 | 60K | 3DMM参数，2D和3D 68个关键点，MATLAB | |
| 2 | AFLW2000-3D | 关键点/重构 | 2K | 3DMM参数，2D和3D 68个关键点，MATLAB | AFLW数据集前2K张 |
| 3 | Florence | 关键点/重构 | 2K | 视频，不同分辨率、视角和放缩 | 53个受试者面部扫描 |
| 4 | AFLW-LFPA | 关键点 | 3901+1299 | 34个关键点 | AFLW数据集的扩展 |
| 5 | NoW Benchmark | 重构 | 3D重构图，包含120K个顶点(.obj),7个关键点,bbox由npy格式给出 | 100个受试者, iPhone X获取, 3D面部扫描 | |
| 6 | Stirling-HQ / LQ | 重构 | Di3D camera system获取,Wavefront obj格式，视频 | 99个受试者 |
三、算法
| 序号 | 算法 | 年份 | 编程语言 | 训练代码 | 速度 |
|---|---|---|---|---|---|
| 1 | 3DDFA_V2 | 2020 | pytorch+mac or linux | 无 | 1.35ms/image on CPU+4ms mesh rendering |
| 2 | RPN | 2018 | Tensorflow 1.x + Python 2.7 | 无 | 100FPS on GTX1080 |
| 3 | DeFA | 2017 | MATLAB | 无 | |
| 4 | MNN+OR | 2020 | Tensorflow + C++ | 无 | |
| 5 | 2DASL | 2019 | Pytorch + Matlab | 无 | |
| 6 | 3DDFA | 2018 | Pytorch + Matlab + C++ | 是 | 0.27x128ms on TITAN X |
| 7 | DECA | 2020 | pytorch | 无 | 120fps on RTX5000 |
| 8 | RingNet | 2019 | Tensorlow+python2 | 无 | |
| 9 | Deng et al. | 2019 | Tensorflow | 是 | 50FPS on 1080 |
四、效果排序
