【论文阅读】通过多视图未校准光度立体和梯度 SDF 进行高质量 RGB-D 重建

High-Quality RGB-D Reconstruction via Multi-View Uncalibrated Photometric Stereo and Gradient-SDF

paper code

Abstract

在许多应用程序中，对精细重建的需求很高。然而，大多数现有的 RGB-D 重建方法都依赖于预先计算的精确相机姿势来恢复详细的表面几何形状，其中在优化不同数量时需要调整表面的表示。在本文中，我们提出了一种新的基于多视图 RGB–D 的重建方法，该方法通过利用梯度符号距离场 (gradient-SDF) 来处理相机姿态、光照、反照率和表面法线估计。所提出的方法使用特定的基于物理的模型来制定图像渲染过程，并使用其体积表示优化实际表面上的表面数量，这与仅在实际表面附近估计表面数量的其他工作相反。为了验证我们的方法，我们研究了自然光和点光源应用的两个基于物理的图像形成模型。在合成数据集和真实数据集上的实验结果表明，所提出的方法可以比现有技术更忠实地恢复高质量的表面几何形状，并进一步提高估计相机位姿的准确性。

图 3-1. 第一行：一个示例输入 RGB 图像 [45] 和带有放大细节纹理的初始重建。第二行：估计反照率，使用所提出方法的放大细节纹理进行精细重建。我们联合估计相机姿态、表面法线、反照率和光照，以实现精细尺度的 3D 重建。

Introduction

main contributions

• 一种与体积表示兼容的物理逼真图像模型的新颖公式，可在实际表面点上进行有效优化。
• 一个完整的重建管道，具有相机姿态、几何细化、反照率和照明估计的能力。
• 一种在考虑照明条件的同时启用相机姿势优化的方法。
• 一种在未校准设置中处理自然和点光源场景的方法，便于在实际应用中采用。

Background and Related work

恢复 3D 模型时必须考虑两个关键问题：表面表示的选择和底层图像形成模型及其逆渲染技术。
曲面是二维流形，曲面表示策略就是如何对连续曲面进行离散化、存储和更新。它主要可以分为两类，显式表示和隐式表示。

1. 显式表示，例如点云 [37]、面元 [36] 或网格 [21]，存储精确的表面点位置，允许对表面点本身进行操作。
2. 隐式表示，例如符号距离函数 (SDF) [27]、体积密度 [24] 或占用率 [29]，仅存储每个单元的相关属性，例如到表面的距离 [25] .

不同的表示被不同的目标所欣赏。例如，相机跟踪和优化，即束调整，以及图像渲染模型都受益于显式表示，因为模型是建立在实际表面上的。与几何相关的重建方法，如 KinectFusion [25] 更喜欢隐式表示，因为可以从中提取均匀光滑的表面，同时在优化过程中很容易允许拓扑变化。因此，许多作品在两种呈现方式之间交替进行，以处理不同的参数，例如相机姿势和表面数量 [26, 17]。

对于表面建模，现在有不同的方法来恢复粗糙的 3D 模型，例如基于深度融合的方法 [25] 或基于 RGB 图像的运动结构技术 [34]。然而，重建的 3D 模型缺少所需的几何细节。为了进一步恢复精细的几何形状，应用了几种策略。

1. 提高输入的准确性，例如深度质量 [32, 13] 或相机姿势准确性 [36, 26]。
2. 增加所选表面表示的分辨率，例如Lee el 的工作 [17] 引入了附加到每个体素的纹理贴图，并将纹理贴图细分以获得更高的纹理表示，但几何分辨率没有提高。

然而，这些方法没有使用 RGB 图像、照明条件和表面几何形状之间的潜在物理关系。

近年来，光度立体¹（PS）[41]方法被广泛应用于不同的研究领域，例如几何恢复[22,8,32]和图像渲染[33,44]。 PS模型描述了物理成像过程，它反映了表面的辐照度和出射辐射率。辐照度受照明条件影响，而辐射度通常取决于表面材料和法线。因此，使用图像形成模型制定渲染方程，可以恢复所需的表面法线、纹理和材料等表面特性[4]。然而，用一个单一的 RGB 图像来恢复所需的质量是一个伪命题 [7]。为了克服不适定性，可以使用多个 RGB 图像作为输入 [12、22、32]。这些图像可以在相同的视点 [28]，但要恢复完整的 3D 模型，需要来自不同相机位置的图像。使用 PS 和 RGB-D 序列恢复完整 3D 模型的现有算法 [8、22、46] 都需要预先计算相机姿势。

图 3-2. 与在体积表面表示中对体素中心的表面辐照度进行建模（左）相比，所提出的方法通过从体素中心沿表面法线方向移动，在实际表面（右）上更精确地对场景进行建模。

这些作品遵循的管道首先将深度与已知相机姿势集成到体积立方体，然后将每个体素重新投影回图像并最小化 PS 能量。他们取得了不错的成绩；尽管如此，还是有两个缺点。

1. 首先，如图 3-2 所示，他们实际上在体素中心而不是表面点评估所有优化量。即使体素尺寸较小，这种差距也可能会减小，但较小的体素尺寸会限制 3D 模型的尺寸，或者在需要扩大网格尺寸时引入大量计算开销。大多数作品使用不同的正则化器来减少这种差距造成的技巧。例如，将体素重新投影到深度图 [8, 22, 46] 以约束体素距离更新，或约束反射率的总变化 [8, 22]。
2. 第二个缺点是，大多数作品依赖于真实世界数据集的独立相机跟踪算法来获得初始化的相机姿势。这些跟踪算法要么使用纯深度信息[25]，要么假设整个输入 RGB 图像的光照条件一致 [26、9、34]。因此，他们不使用颜色信息，或者他们的假设与图像形成模型相矛盾。

值得注意的是，还有另一类方法：神经渲染。神经渲染方法的成功导致基于学习的基于图像的合成和几何恢复方法的繁荣。一些神经渲染方法也采用 PS 方法，但大多数这些方法 [43、44] 侧重于视图合成而不是几何细化，并且它们的输入只是具有准确相机姿势的 RGB 图像。Lin et al的工作 [18] 能精化相机位姿，但仍然不专注于恢复几何细节或估计反射率和照明。最近的 RGB-D 神经渲染工作 [2] （neural_rgbd）不适用于大多数真实世界的数据集，因为它采用单焦距相机模型。据我们所知，只有( volsdf ,
NeuS) 专注于几何体的恢复，并以稍微不同的方式填补体素表示和表面点表示之间的空白。他们建议将带符号的距离值转移到点的密度，然后使用沿射线的累积颜色来恢复良好的 3D 几何形状，因此结合了点和体积的表面表示。然而，他们独立学习每一帧，而不是像 PS 方法那样明确地对光照和表面法线进行建模，即便如此，他们也没有改善相机位姿并且训练时间很长。

在本文中，我们提出的方法可以解决精细的 3D 重建问题以及完整管道中的相机姿态估计，该管道位于一个一致的表面表示和假设中。此外，我们估计实际表面的表面数量，并在使用梯度 SDF [38] 初始化相机姿势和粗糙表面体积后联合优化相机姿势。

Image Formation Model

Surface Reflectance

光度立体技术根据物理定律研究表面的反射光以及环境照明、表面材料和法线，以对生成的彩色图像进行建模。它通过围绕表面法线 n ∈ S² 在上半球 S²₊ 上积分来描述表面点 x ∈ R^3 ^的出射辐射率。图像上与该点共轭的像素强度与其辐照度成正比。出射方向可视为相机视角方向。因此，对于图像 I，与 3D 点 x ∈ R³共轭的像素 p ∈ R² 的颜色为

其中 ρ : R³ × S² × S² → R³ 是具有 3 个颜色通道的双向反射分布 (BRDF) 函数，L : S² × R³ → R³ 是来自方向 i ∈ S² 在点 x ∈ R³ [15] 的入射光照辐射率.假设一个常数 BRDF，即一个 Lambertian (朗伯) 曲面² ，(1) 可以简化为

给定足够多的彩色图像，可以恢复表面法线 n 和表面反射率 ρ。关键的挑战是合理地近似半球上的积分。不同的模型被提出来简化求解方程的积分。这里介绍两种模型，分别处理两种应用场景：自然光照和点光源照明。

1. Natural Light Spherical Harmonics Model 自然光球谐模型
   自然光源的情况，例如光源是太阳，或者光源在远处。到达表面的光照方向几乎平行，然后可以使用球面谐波 (SH) 函数很好地模拟环境光照。积分部分由 SH 基 [4, 5] 的总和近似。
   
   其中 l ∈ R⁴ 是当前视图的 4 维光照向量，SH(n(x)) ∈ R⁴ 是固定 n(x) 的一阶 SH 基函数。该模型公式简单，使用低阶模型仍然可以达到较高的精度。
2. Point Light Source Model 点光源模型
   除了自然光之外，另一种常见的场景是点光源情况，主要是在关注小物体重建时。物体通常由点光源照明，例如靠近物体的 LED 灯。光照几乎不能看作是一组平行线，点光源为物体光照提供了更多的变化，有利于处理PS模型的不适定性。一种广泛使用的点光源模型是 [19, 23, 30]。
   
   其中，ψ^s 是光源强度，n^s 是光源的主方向，l^s 是从光源位置指向表面点的向量。分母项|| l^s||³描述了光强到达表面点时的衰减。 μ^s ≥ 0 是各向异性参数。通常，当使用点光源模型时，除了模型是高度非线性和非凸的事实（优化困难）之外，另一个挑战是许多参数需要已知或优化，例如光源位置和主方向。大多数使用点光源模型的作品都有额外的步骤来校准光源强度、位置和主方向 [20、30]。 Logothetis el at [20] 设计了一种设备，其 LED 灯在带有居中摄像头的板上呈圆形排列，并打开和关闭 LED 灯以在不同光照下捕捉图像。然后他们改进预先生成的 SDF 模型。Qu ́ eau et al 的工作 [30] 仅将 RGB 图像作为输入并联合优化深度和反射率。然而，它们的输出是单个深度图像，需要严格校准相机姿势和光源。在下一节中，我们将解释我们提出的模型如何在没有繁琐的光照校准的情况下工作，从而使我们的方法在点光源和自然光照设置下完全无需校准。

Multi-view PS Models

为了恢复完整的 3D 模型， 提供了一系列 RGB 图像 {I_i}_i (i ∈ I )以及相机到世界的位姿 {R_i, t_i}_i。将扭曲到图像 I~i ~的 3D 点 x 表示为 x_i = R^T_i x − t_i，并将其代入 (3) 和 (4)，我们将多视图模型残差写为

M·(·,·)代表两种不同的成像模型，Xi是3.1节介绍的两种成像模型中的变量。因此，SH 模型是

点 x 及其法线通过相机位姿 R_i 和 t_i转移到图像坐标。这里 X_i = (R_i, t_i, l_i)。对于点光源模型，我们提出了类似于 [32] 的设置，即在捕获图像时将 LED 灯连接到相机，参见图 3。由于相机姿势已知，因此 (4) 中的灯位置位于相机坐标原点和光源主方向可以被视为 -z 方向，即，我们假设我们的点光源模型有一个并置的光相机设置。等式 (4) 中的 l_s 然后从原点指向相机坐标下的表面点 -x_i。此外，如果我们假设一个各向同性光源，即 μ_s = 0，则具有多视图设置的点光源模型读取

Geometry and Camera Poses Initialization

几何误差和光度误差是相机跟踪技术中通常使用的两个误差项。光度误差评估将一个点投影到另一个 RGB 图像时的颜色恒常性，而几何误差则确定将点扭曲到另一个深度帧时的深度位移。大多数早期的表面细化技术 [17、11、22、8] 使用跟踪方法，例如 [35] 或 [26、9]，其中调整了光度误差项。因此，在初始化相机姿势时假设颜色在图像之间是一致的，但在稍后的图像形成模型中假设颜色不同。为了避免这种不一致，所提出的方法仅使用深度信息初始化 SDF 体积和估计的相机位姿，然后在稍后考虑光照条件的情况下优化相机位姿和表面属性。通过 [9, 38] 将点云与从深度 i 到全局形状 S 的点 x^k 对齐来优化第 i 帧的相机位姿

其中 是帧 i 处点 k 的截断 SDF 权重，T 是截断距离，d_S (x) 是点 x 到形状的距离S. 请参考 [9] 或补充材料了解更多详情。

Voxel Based Photometric Modeling

From Voxel to Surface

所提出方法的关键思想是在隐式表示下（即在体积立方体下）描述显式表面。要在实际表面上执行所有操作，我们必须找到每个体素对应的表面点。为了结合表面点表示和体积表示的优点，gradient-SDF [38] 存储每个体素 vj 的符号距离 j ∈ V，以及该体素的距离梯度 g^j。它允许我们通过沿梯度方向 gj 移动体素距离 ψj 来轻松计算表面点 x^j

然后我们可以在表面点上精确地开发我们的模型。我们将在第 5 节中展示它不仅在理论上更精确，而且还能带来更好的定量结果。为了检索图像中表面点的颜色，我们可以将实际表面投影回图像域：

其中 π : R³ → R² 是将 3D 点映射到 RGB 图像上的 2D 像素的投影算子，x^j _i 是投影到第 i 个图像上的第 j 个点。存储的体素梯度 g 是表面法线 n(x)，如 [38] 中所述，I_i 是第 i 个彩色图像。为了恢复表面的反射场（反照率），对于每个体素，我们直接保存表面点的估计反照率，即 ρj = ρ(v^j − ψ^jg^j)。

Multi-view PS Energy

现在介绍基于多视图体积的光度立体模型。对于一组输入 RGB 图像 {I_i}_i和一组梯度 SDF 体素 {v_j}_j，将以下能量函数最小化以恢复高质量纹理并联合执行光束法平差以进行相机位姿优化。

其中 Φ(·) 是一个稳健的 M 估计 [30]。我们选择 Cauchy 估计量 Ψ(x) = log(1 + x²/ σ² )。参数 σ = 0.2。 ν^j _i 是我们在摄像机跟踪阶段存储的图像 i 中第 j 个体素的可见性图。 I^j _i = I_i(p(x^j _i )) 如等式 (10) 所述。 M(x^j, X_i) 如 (7) 和 (6) 中所述，其中点 xj 使用 (9) 从体素 v^j 改编而来。对于每个体素，两个变量 ρ^j 和 ψ^j 被优化。两种型号都嵌入了相机姿势；因此，也可以通过最小化模型来改善相机位姿。正如我们将在第 5 节中展示的那样，相机位姿和表面几何形状、反照率和照明的联合优化是一个更好的选择，并且会带来更好的结果。
请注意，在距离梯度上我们只需要 (11) 中的一个正则化器来确保距离满足 Eikonal 方程。正则化器需要了解两件重要的事情。首先，因为没有体素中心到表面的间隙，我们的能量函数简单而优雅。与之前的工作 [8, 22] 相反，我们的公式 (11) 不是经验性的，而是具有物理意义的：对于嵌入在 3D 中并用 SDF 表示的 2D 流形，带符号的距离场是可微的，其梯度在等值面上满足 Eikonal 方程 [27]。正则化器保证更新后的距离仍在距离场内。其次，仅约束距离场本身会从深度图像中分离能量。在（11）的图像形成模型优化过程中，我们不需要存储深度图像。
请注意，通过优化梯度 SDF 体素的法线和距离来细化几何形状。利用靠近等值面的事实，距离和表面法线的梯度满足

Voxel Up-sampling

较小的体素大小更适合表示精细尺度的几何细节。然而，对于以前的基于 SDF 的方法 [22]，可以通过在邻域体素之间进行插值来进行上采样。一个细分需要访问多个体素。我们提出的方法可以有效地进行上采样，并且使用类似于（9）的泰勒展开对 2 × 2 × 2 = 8 个子体素进行上采样以达到（ v^s /2 ）体素大小只需要一个体素

其中 s^1…8 = (±1, ±1, ±1)^⊤ 表示来自粗体素的 8 个不同方向。因此使用粗体素重新初始化亚体素的距离。梯度设置为与粗体素相同，因为它将在接下来的优化步骤中更新。我们在我们的算法中包括围绕表面特征的上采样，以实现更高分辨率的重建。

Optimization Pipeline

我们在优化过程中交替更新表面数量和相机姿势。 {ρ^j}_j 使用体素 j 的平均强度进行初始化。优化流水线如算法 1 所示。当第 k 步能量与第 (k − 1) 步能量的相对差值小于收敛阈值时，满足收敛条件。

Evaluation

为了证明所提出方法的结果，由于它缺乏同时提供相机姿态和表面几何细化估计的方法，我们将评估分为两部分。

1. 精细相机姿势的定量评估。我们在提供地面实况相机姿势的 TUM RGB-D [39] 基准测试我们的方法。我们将改进后的相机姿势与其他三种最先进的跟踪方法进行比较 [9、36、38]。
2. 表面细化的评价。我们与四种最先进的方法进行了比较；两种经典方法 [22, 8] 和两种基于学习的方法 [40, 42]，适用于合成数据集和现实世界数据集。

Set-up and Run Time
我们的数据结构是在 C++ 中使用单精度浮点数实现的。所有实验均在没有 GPU 的 Intel Xeon CPU @ 3.60 GHz 上进行。对于表面量优化和位姿细化，我们使用阻尼高斯-牛顿法 [6]，其中 λ = 0.1。收敛阈值为 10⁻³。我们只在 5 次迭代后启用一次上采样。更多数学和实验细节在补充材料中说明。我们使用连接到带有手持杆的英特尔实感 D415 RGB-D 相机的 LED 灯，参见图 3 来记录点光源数据集。对于合成数据集，我们使用具有 2cm 体素大小的 256³ 体素网格，在整合深度图后产生 512MB 的初始 SDF。我们只存储包含用于优化的表面点的体素（对于合成兔子数据集 [1]，大约有 20k 个点）。摄像机跟踪每帧需要大约 300 毫秒，每次优化迭代每个变量需要大约 8 秒。该方法通常在~20 次迭代后收敛。

Camera Poses Refinement

我们使用一阶 SH 模型与表面几何一起细化姿势，因为数据集满足自然光假设，并与两种基线 SLAM 方法 [9、36] 和在没有 PS 损失的情况下细化相机姿势的方法 [38] 进行比较。当整个序列长度超过 300 时，我们最多取 300 帧来初始化 SDF 体积，然后使用锐度检测器 [3] 取 10% 作为关键帧进行后续优化。

表 3-1. 与三种基线 SLAM 方法相比，来自 [39] 的序列的绝对轨迹误差 (ATE) 的均方根误差 (RMSE)（以厘米为单位）。从右侧开始，第三列表示跟踪后的初始相机位姿，第二列表示建模和优化体素中心时的误差，最后一列表示所提出方法的误差。

表 3-1 表明，所提出的方法在跟踪阶段之后进一步改善了相机位姿，并且比其他最先进的方法获得了更好的精度。我们通过引入图像形成模型来改进相机姿势，优于[38]。我们在体素中心直接测试优化 (11) 以确认步骤 (9) 导致更准确的结果。失败案例（fr1/plant）是由于前几帧缺少几何信息，导致跟踪和PS优化失败。结果还表明 PS 方法可以处理两个选定帧之间的较宽基线。然而，如果基线太大，摄像机跟踪和 PS 优化可能会失败。与初始表面相比，精细表面的可视化也验证了改进，参见图 3-4。与最先进的方法相比，我们获得了更锐利和更清晰的纹理。补充材料中提供了更多可视化结果。

图 3-4. BAD SLAM [36]（上）和我们的方法（下）对 fr1/xyz [39] 的点云重建。所提出的方法减少了模糊效果并恢复了清晰的纹理
图 3-5 显示了 3 个阶段的误差：初始点云的误差，即摄像机跟踪后的误差、体素上采样后的误差和能量优化后的误差 (11)。为了消除物体尺寸的影响，由于物体尺寸小导致在相同体素网格尺寸下绝对点云距离误差小，我们计算距离误差和物体尺寸比作为测量。 x 轴显示点到点距离误差 dc−c w.r.t。对象大小，即 e = (dc−c )/dmax ，其中 dmax 是点云边界框大小。 y轴是点的百分比：误差小于e的点数除以点云的总点数。

图 3-5. 该图显示了所提出方法在不同阶段重建的距离误差。点云大小误差小于 0.010% 的百分比在 SH 模型优化后从 75.45% 增加到 82.12%，从 73.95% 增加到PLS 模型为 79.27%。

图 3-6. 对合成数据集的定量评估。距离误差小于点云大小 0.015% 的点的点数百分比为 84.32% ([8])、89.50% (volSDF [42])、90.04% (Intrinsic3d [22]) 92.09% (NeuS [40] ]), 93.33%（我们的）

SH model
图 3-6 显示了在相同体素大小设置下与相关方法 [22、8、42、40] 相比的定量评估。曲线显示所提出的方法表现最好。图 3-7 显示了现实世界数据集 [46] 上重建误差的可视化，其中激光扫描的地面实况可用。神经渲染方法 volSDF [42]、NeuS [40] 在合成数据集上表现良好，但在真实数据集上表现不佳；甚至在 NeuS 中启用了掩码设置，在 volSDF 中启用了复杂背景设置。更多实验请参考补充材料。

图 3-7. 与花瓶数据集 [46] 上的 Intrinsic3d [22] 的比较。在错误图中，从黄色到红色的颜色交易表示与ground truth的较大正距离，蓝色方向表示负距离。我们的结果和激光扫描的标准偏差为 4.5mm，而 [22] 结果为 5.8mm。

Point light source model
我们没有发现现有的工作执行非校准点光源方法来实现完整的 3D 模型。 Logothetis [20] 的工作需要特定的设置和校准，但数据和代码不公开。因此，我们仅呈现使用第 4 节中提到的建议设置记录和改进的数据集的可视化结果。序列包含大小为 648 × 480、15fps 帧速率的 RGB 和深度图像。我们直接在我们的方法中插入序列而不进行预处理。定量和定性结果如图 3-5 和图 3-8 所示。

图 3-8. 集中在单个对象上的序列重建示例。该序列包含使用图 3-3 中的设置记录的大约 200 个 RGB 图像和深度图像。

Ablation Study

Voxel center vs. surface point
为了验证在表面点上制定图像形成模型在理论上更准确并导致更好的性能，我们还在合成数据上测试了体素中心公式。图 9 显示表面点模型比基于体素中心的方法产生更多的小距离误差。对于相机姿态细化，所提出的方法实现了 SH 模型的姿态 RMSE 6.3cm 和 PLS 模型的 8.1cm，而基于体素中心的方法分别给出了 7.8cm 和 15.9cm。
Eikonal constraint
我们在多视图 PS 能量中包括 (11) 中的 Eikonal 正则化器。不仅从理论上而且从启发式的角度验证正则化器的必要性。我们针对 SH 和 PLS 模型使用和不使用 Eikonal 正则化器优化我们的算法。如图 10 所示，Eikonal 正则化器提高了自然光和 PLS 设置下结果的准确性。

图 3-9. 该图显示了在体素中心（蓝色）和表面点（红色）上优化的具有一定距离误差范围的点数。 SH 模型和 PLS 模型只有不到 90.31% 和 90.87% 的点误差小于 0.015% 的对象大小百分比，而在真实表面点上优化时，它们增加到接近 92.72% 和 93.10% 的点。

图 3-10. 百分比距离误差包含正则化器（红色）和不包含正则化器（蓝色）的点数。错误小于 0.010% 对象大小的点百分比从 SH 模型的 74.30% 增加到 81.97%，PLS 模型从 74.77% 增加到 80.09%。

Conclusion and Future Work

我们使用梯度-SDF 表示在完整的高质量重建管道中执行相机姿态跟踪和 3D 表面恢复和细化。我们通过在实际物理表面而不是体素中心上强制执行 PS 图像形成模型来实现良好的重建质量和准确的姿态跟踪。我们的方法无需在自然光或点光源场景中进行预处理或任何其他校准即可实现简单实用的密集对象 3D 重建。我们证明了我们的方法在合成数据集和真实数据集上都在数量和质量上取得了优异的结果。然而，这项工作的局限性在于，由于缺少几何和阴影信息，它可能无法用于退化表面。
将来，我们计划包括一个可以处理非朗伯表面的通用图像形成模型。

---

1. 用一个表面在不同光照条件下所拍摄的图像序列来重构这个表面的形状。 ↩︎

2. 若光线经过某物体表面漫反射后吗，会以等量的强度向四周均匀散射，而与视线的角度无关，则该物体表面称为朗伯表面。该物体称为朗伯体，又称理想漫反射体。 ↩︎