创新点

本文提出PHORHUM,，仅使用RGB图即可完成3D人体重建，并且第一次进行表面着色；
仅使用3D监督不足以生成高质量颜色重构，作者引入基于patch的渲染损失，使得可见部位完成颜色重构，不可见部位生成逼真颜色估计；
之前工作受限于特征几何、反射率、光照影响，本文端到端方法可有效解耦这些影响因素；
针对几何及颜色重建，作者使用不同评估指标验证该方法；

作者提出端对端解决方案，预测外观及几何结构；外观建模为表面颜色反射率，但没有场景特定的光照效果，因此作者方法也会预测场景光照信息，用于重新着色估计的scan，使得将额外的人放入已存在场景变得更加逼真；作者发现仅使用稀疏3D信息不足以产生满意结果，因此引入渲染损失，提高外观质量；
作者贡献总结如下：

提出人体数字化端对端训练系统；
第一次引入反射率和阴影信息；
渲染损失改进视觉效果；
结果更加准确，细节丰富；

算法

在这里插入图片描述
PHORHUM算法如图2，使用单张图片 $I$ 进行3D建模 $S$ ，如式1，

$f$ 表示使用神经网络进行有符号距离计算（SDF），
特征网络 $G$ 生成输入图在 $x$ 空间对齐特征 $z_x$ ，如式2，

$f$ 生成有符号距离 $d$ （真值mesh与预估surface之间距离）及颜色反射率 $a$ ，如式3，
在这里插入图片描述
为解耦shading与表面颜色，shading网络 $s$ 用于估计表面shading，如式4， $n_x$ 为估计距离的梯度，
$l$ 为场景光照模型；

最后进行上色， $\circ a$ ，其中 $\circ$ 表示element-wise multiplication；

损失函数

几何颜色损失

$L_g$ 表示真值mesh与预估surface之间距离为0，距离梯度与真值mesh梯度（表面法向）一致， $O$ 来自真值mesh M；

在这里插入图片描述
$L_l$ 表示监督mesh表面周围额外样本 $F$ 的sign， $l$ 表示在表面内或外， $\phi$ 表示sigmoid激活函数，如式6，其中 $k$ 可学习；

$L_e$ 表示几何正则项，将预测表面点距离梯度归一化为1，如式7；

$L_a$ 表示监督颜色反射率与mesh纹理所计算的 $a$ 之间距离，监督surface周围及surface上的样本，对于surface周围的样本，真值使用最近表面上的点代替；
在这里插入图片描述

渲染损失

从相机位置出发，沿着射线计算最小距离值的sign，如式9，其中 $r$ 为射线， $o$ 为相机位置
在这里插入图片描述
寻找落在surface表面样本 $R_s(\sigma<0.5 \ and\ l=0)$ ，对于子集 $R_s$ 使用球面追踪定位表面点，使用第 $t$ 轮交点 $\hat x$ 可微到网络参数，如式10；

$\hat x^f$ 表示正面交叉点、 $\hat x^b$ 表示背面，背面交叉点；使用Lr进行强化纠正表面颜色，如式11
在这里插入图片描述
使用 $L_c$ 进行监督上色，如式12， $p$ 为图片 $I$ 中对应像素值；

$L_s$ ：作者发现使用真值 $\bar n$ 及反射率 $\bar a$ 监督图片 $I$ 中所有像素上色也有作用，如式13

数据集

在这里插入图片描述
如图3，作者使用217个scan，通过对100个scan进行颜色增强，38个进行姿增强，最终生成数据集包含约19W数据，每张图描绘使用随机HDRI(high dynamic range images)背景及随机放置位置的渲染scan；

补充细节

1、特征提取网络 $G$ 为13层的U-Net；
2、几何网络 $f$ 为8个512维的全连接层；
3、shading网络 $s$ 由3个256维全连接层组成；

实验

表2表示3D重构正面、背面IS得分；
在这里插入图片描述
表3表示与其他单视角重构方案比较及是否使用渲染损失及shading估计的消融实验；

图6展示使用渲染损失改进折射率估计，仅使用稀疏3D监督颜色不自然；

图4展示PHORHUM与SOTA方法质量比较；

图5展示PHORHUM与SOTA方法及真值效果比较；
在这里插入图片描述
图7展示合成图片，估计光照强度应用于重建的目标