ICLR2023 Oral | Noise2NoiseMapping：通过噪声点云学习带符号距离函数

Title: Learning Signed Distance Functions from Noisy 3D Point Clouds via Noise to Noise Mapping

Paper: https://github.com/mabaorui/Noise2NoiseMapping/blob/master/pdf/learning_signed_distance_funct.pdf

导读

从3D点云中学习有符号距离函数（SDFs）是3D计算机视觉中的一个重要任务。然而，在没有真实有符号距离、点法线或干净点云的情况下，当前的方法仍然难以从噪声点云中学习SDFs。为了克服这个挑战，研究者提出通过噪声到噪声映射来学习SDFs，这不需要任何干净的点云或ground truth的监督来进行训练。论文的创新在于噪声到噪声映射，它可以从多个甚至单个噪声点云观测中推断出一个高度准确的单个对象或场景的SDF。论文的新学习方式得到了现代激光雷达系统的支持，这些系统每秒捕获多个噪声观测。论文通过一种新的损失函数实现了这一目标，该损失函数在点云上进行了统计推理，并保持几何一致性，尽管点云是不规则的、无序的，并且在噪声观测之间没有点对应关系。在广泛使用的benchmarks测试下进行的评估显示了所提方法在表面重建、点云去噪和上采样方面优于现有方法的优势。

背景

有符号距离函数（Signed Distance Function，SDF）的本质是存储每个点到几何体表面的最近距离。SDF为正值表示点在几何体表面外部，为负值表示点在几何体表面内部。通过SDF，可以将几何体的表面划分出来，使得模型表面外的点的数值大于0，模型表面内的点的数值小于0:

原始的点云是离散和带有噪声的，这对于需要清晰表面的虚拟现实和增强现实等下游应用程序并不友好。现有基于深度学习的方法在学习噪声点云的SDF时通常需要额外的约束或者无噪声假设，限制了其准确性和适用性。这些要求对于从带有噪声的点云中学习准确的SDFs产生了显著影响，无论是由于泛化能力差还是无法去噪的能力不足。因此，从带有噪声的点云中学习SDFs而无需清洁或真实监督仍然具有挑战性。

贡献

本文贡献如下：

1. 论文提出了一种从嘈杂的点云中学习有符号距离函数（SDF）的方法，无需准确的有符号距离、点法线或清晰的点云作为训练数据。

2. 论文证明了通过噪声到噪声映射利用Earth Mover’s Distance（EMD）进行统计推理的有效性，并通过所提的新型损失函数加以证明，即使3D点云不规则、无序且不具备点对应性。

3. 在广泛使用的benchmarks测试中，所提的方法在表面重建、点云去噪和上采样方面取得了SOTA，适用于各种形状和场景。

方法

论文的目标是**从一组带噪声的3D点云观测中学习到去噪后的3D形状或场景的有符号距离函数(SDF)，**而无需准确的有符号距离、点法线或清晰的点云。论文通过训练一个神经网络来学习SDF，该网络将带噪声的点云作为输入，并通过噪声到噪声的映射来进行统计推理。论文的损失函数不仅最小化了去噪后的点云与其他噪声点云之间的距离，还通过几何一致性的正则化来约束学到的SDF的准确性。通过这种学习，可以进行表面重建、点云去噪和点云上采样等下游任务。

Reducing Noise

借鉴2D图像去噪中的"Noise2Noise" (Lehtinen et al., 2018) 的结论：论文提出从带噪声点云($N_i$)中估计未带噪声点云，根据某个损失函数$L$寻找与带噪声点云的平均偏差最小的目标，从而输入不需要未带噪声的ground truth：

对于2D图像，多个损坏的观察结果具有像素对应关系。这导致了一个假设，即相同像素位置的所有噪声观测结果是围绕干净像素值的分布的随机实现。然而，这个假设对于点云来说是无效的。这也是为什么TotalDenoising (Casajus et al., 2019)认为上述公式不能用于点云去噪的原因，因为3D点云中的噪声是全局的。与之不同的是，论文的发现正好相反。论文认为**仍然可以利用上述公式来减少3D点云中的噪声，关键在于如何定义距离度量$L$，**这被视为本文的贡献之一。

论文面临的另一个问题是如何通过点云去噪来学习SDFs。

Denoising Function F

为了学习点云$N$的SDFs $f_{\theta }$，论文希望去噪过程也能感知$N$周围的有符号距离场。论文定义了一个去噪函数$F$，受到NeuralPull方法的启发。该函数利用点的有符号距离$d=f_{\mathbf{\theta }}(\mathbf{n},\mathbf{c})$和梯度$\nabla f_{\mathbf{\theta }}(\mathbf{n},\mathbf{c})$来将点云$N$的噪点$n$拉向点云表面，从而实现点云的去噪:

从而得到一个点云$N^{\prime }=F(N,f_{\theta })$。但剩下的一个问题是如何约束$N^{\prime }$收敛到未损坏(无噪声)的表面。

Distance Metric L

论文对距离度量$L$进行了研究，总结如下的定理：

定理1：假设存在一个干净的点云$G$，通过对$G$的每个点进行采样噪声，将其损坏成带噪声的观测 S = { N i } S = \{N_i\} S={ Ni​}。如果将EMD作为下式中定义的距离度量$L$，并通过最小化$G^{\prime }$与$S$中每个噪声观测之间的EMD来学习一个点云$G^{\prime }$，那么$G^{\prime }$会收敛到干净的点云$G$，即$L(G,G0)=0$。

论文相信在EMD的计算中找到的一对一对应关系$\phi$在统计推理中的去噪过程中起到了重要作用。尽管点云是不规则的、无序的，并且在不同观测中的点之间没有空间对应关系，但这与Noise2Noise中噪声图像之间的像素对应非常相似。下图4(a)中为噪声点云Ni，图4(b)表明，CD优化的点云$G^{\prime }$仍然有噪声，而图4©中EMD优化的点云$G^{\prime }$非常干净。

Geometric Consistency

为了解决3D点云去噪的问题，作者引入了几何一致性的概念。在一个查询点附近，通过点云的有符号距离函数（SDF）$f_{\theta }$进行预测的最短距离应该与通过去噪后的点云计算得出的最短距离保持一致。因此，他们提出了一个几何一致性不等式，要求在查询点处的预测有符号距离的绝对值应该小于等于查询点与去噪后的点云之间的最小距离。

几何一致性的引入使得通过几何约束来调整SDF的预测，以确保点云被正确地拉回表面。这种方法可以改善点云的去噪效果，并且在表面重建中提供更准确的SDF。通过引入几何一致性，作者解决了先前方法中对正确表面的无感知问题，从而改进了点云的去噪和重建性能。

Loss Function

通过几何一致性，可以惩罚图3(b)中显示的错误有符号距离场，并鼓励图3©中的正确距离场。因此，论文将几何一致性作为一个正则化项R，将其与方程(5)和方程(6)结合起来形成我们的目标函数，如下所示：

实验

Point Cloud Denoising

如表1所示，论文使用了两个基准数据集（PUNet和PointCleanNet）进行评估，并与多种其他方法进行了比较，包括传统的点云去噪方法和基于深度学习的方法。论文使用L2 Chamfer距离和点到网格距离作为评估指标，评估了不同噪声水平下的去噪性能。实验结果表明，**论文的方法在有监督和无监督设置下都明显优于其他方法，展现了最先进的去噪性能。**如上图所示，误差图的比较进一步证明了论文方法的优越性。

Point Cloud Upsampling

如上表所示，作者使用PU数据集评估了他们在点云上采样方面的学习方法。通过对稀疏点云添加噪声并进行去噪处理，他们与PU-Net和SBP方法进行了比较。结果显示，他们的方法能够更准确地还原点云上的表面，并获得了良好的结果。

Surface Reconstruction for Shapes

论文首先在ShapeNet的13个类别的测试集上报告了论文方法的表面重建性能。表格3中的数值比较显示了论文方法在13个类别上的表面重建准确性，表明在表面重建方面达到了SOTA。尽管论文方法不需要ground truth监督，但论文方法在表面重建方面表现优于有监督方法，如SAP、COcc和IMLS。在图8的视觉比较中，论文进一步展示了我们在复杂几何重建方面的优越性。

在表格4中的比较表明，论文方法可以在没有训练集、ground truth监督甚至多个噪声点云的情况下，从噪声点云中提取更准确的表面。通过在FAMOUS下的误差图比较，可以看出对点云进行的统计推理和几何正则化使得生成的表面更加准确。

图10和图11的比较显示，论文方法在刚性和非刚性形状上都能产生更准确的表面，并且不会丢失部分。

论文在真实场景扫描数据集下评估了论文的方法。表格7的数值比较结果表明，论文方法显著优于现有的最先进方法。图12进一步展示了论文方法可以生成更平滑、更具几何细节的表面。

总结

论文通过噪声到噪声映射引入了从噪声点云中学习有向距离场（SDFs）的方法。论文探索了从多个噪声点云甚至一个噪声点云中学习SDFs的可行性，而无需地面真实的有向距离、点法线或干净点云。论文的噪声到噪声映射使得在点云中进行统计推理成为可能，即使在不同噪声点云之间没有空间对应关系。论文在统计推理中的关键洞察是使用EMD作为度量标准。通过统计推理的能力，论文成功地通过学习高度准确的SDFs从噪声点云中恢复出表面。论文在合成数据集或真实扫描数据集上评估了论文的方法，适用于形状或场景的不同应用。论文在不同应用中的表现表明了我们方法的有效性，达到了最先进水平。