本文同步于微信公众号：3D视觉前沿，欢迎大家关注。
本期带来上周在arXiv公开的相关论文共6篇，其中涉及三维重建、点云去噪、3D数据集等，这里只是给出大致简介，详细了解可阅读原文。
一、三维重建：
1. [ECCV] Associative3D: Volumetric Reconstruction from Sparse Views
- 作者机构：Shengyi Qian, et al. University of Michigan
- 论文地址：https://arxiv.org/pdf/2007.13727.pdf
- 论文代码：https://jasonqsy.github.io/Associative3D/
- 简介：本文研究的是一个从未知相机拍摄的两个场景视图，进行3D体重建的问题。虽然这个问题对人类来说似乎很容易，但由于需要同时重建两个视图中的物体并弄清它们之间的关系，因此对于计算机来说十分具有挑战。作者提出了一种方法来估计重建结果、相机/物体和相机/相机变换的分布、以及视图间的相似度矩阵。这些信息共同用于推理以产生最可能对场景的解释。作者在室内场景数据集上进行训练和测试，并严格评估联合推理方法的优点，实验表明，算法能够从稀疏视图中恢复合理的场景。
2. [MM] Differentiable Manifold Reconstruction for Point Cloud Denoising
-
作者机构：Shitong Luo and Wei Hu. Peking University
-
论文地址：https://arxiv.org/pdf/2007.13551.pdf
-
论文代码：https://github.com/luost26/DMRDenoise
-
简介：由于采集设备的固有局限，3D点云经常会受到噪声的干扰，从而阻碍了许多诸如曲面重建、渲染等下游任务。先前的工作大多基于潜在表面推断噪声点的位移，然而这些点没有被指定用于显式地重建表面，因此可能会导致次优的去噪结果。为此，作者提出从具有琐碎噪声扰动的微分下采样点云中学习潜在流形，以及学习他们的嵌入式邻域特征，以捕获点云中的内蕴结构。具体来说，作者提出了一种类似自动编码器的神经网络。编码器首先为每个点构建局部和非局部的特征表示，并通过一种自适应微分池化操作采样低噪声的点；然后，解码器通过将每个采样点及其邻域的嵌入特征转换为以该点为中心的局部曲面推断出潜在流形；最后，通过在重建的流形上重新采样，就获得了一个去噪后的点云。此外，作者设计了一个无监督的训练损失，以便网络可以无监督或有监督的方式进行训练。实验表明，在合成噪声和真实噪声情况下，作者提出的方法都明显优于最新的去噪方法。
3. [ECCV] Ladybird: Quasi-Monte Carlo Sampling for Deep Implicit Field Based 3D Reconstruction with Symmetry -
作者机构：Yifan Xu, et al. Netease Fuxi AI Lab, et al.
-
论文地址：https://arxiv.org/pdf/2007.13393.pdf
-
简介：深层隐式场回归方法对于从单视图图像进行3D重建非常有效。但是，不同采样方式对重建质量的影响尚未被深入研究。在这项工作中，作者首先研究了点集差异对网络训练的影响。基于最远点采样算法，作者提出了一种采样方案，该方案能够从理论上鼓励更好的泛化性能，并使基于SGD的优化算法快速的收敛。其次，基于物体的反射对称性，作者提出了一种特征融合方法，该方法可减轻由于自遮挡而导致的难以利用局部图像特征的问题。作者提出的系统Ladybird能够从单个输入图像创建高质量3D模型。作者在大型3D数据集（ShapeNet）上对Ladybird进行评估，在倒角距离、EMD距离和IoU指标上展示了极具竞争力的结果。
4. [ECCV] Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve
- 作者机构：Weicheng Kuo, et al. Google AI & Robotics at Google & Technical University of Munich
- 论文地址：https://arxiv.org/pdf/2007.13034.pdf
- 简介：物体识别在图像领域已经取得了重大进展，并且主要集中在2D感知方面。作者提议利用现有的大型3D模型数据集，通过重建基于CAD的物体表示以及他们的位姿，来理解图像中可见物体的潜在3D结构。作者提出了Mask2CAD，它可以检测真实世界图像中的物体，同时针对每个检测到的物体优化其最相似的CAD模型及其位姿。作者构建了一个图像中检测的物体区域与3D CAD模型之间的联合嵌入空间，从而能够根据输入的RGB图像检索CAD模型。这就为图像中的物体生成了一个清晰与轻量级的表示。此外，这种基于CAD的表示形式可确保为内容创建或交互式场景等应用，提供一个合理且高效的形状表示形式，并且有助于理解如何将现实世界的图像转换为虚拟场景。在来自Pix3D的真实世界图像上进行的实验表明，提出的方法与现有技术相比具有优势。为了促进未来的研究，作者基于ScanNet又提出了一个新的图像转3D的数据集，该数据集具有更大的形状多样性、真实的遮挡以及挑战性的图像视角。
5. [CVPR] OASIS: A Large-Scale Dataset for Single Image 3D in the Wild
- 作者机构：Weifeng Chen, et al. University of Michigan & Princeton University
- 论文地址：https://arxiv.org/pdf/2007.13215.pdf
- 论文代码：https://oasis.cs.princeton.edu/
- 简介：单视图3D任务是指从单个图像恢复3D属性（例如深度和表面法向量）。作者认为单视图3D任务的主要障碍是缺少数据。为了解决此问题，作者提出了单图像表面开放标注（OASIS）数据集。OASIS是自然环境下的单图像3D数据集，包含140,000张图像的详细3D几何形状的标注。作者基于OASIS训练和评估了多个针对单图像3D任务的模型，希望OASIS成为3D视觉研究的有用资源。
6. [arXiv] OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets
- 作者机构：Zhengqin Li, et al. UC San Diego & Adobe Research & Sun Yat-sen University
- 论文地址：https://arxiv.org/pdf/2007.12868.pdf
- 简介：具有地面实际几何结构、材质和光照的针对室内场景的大规模真实感数据集，对于深度学习在场景重建和增强现实中的应用至关重要。场景对应的几何形状、材质和光照数据，可以由扫描或艺术家创建得到，但这两者都很昂贵，而且结果数据通常是专有的。作者旨在使室内场景的数据集创建过程可被广泛使用，从而使研究人员可以将随意获取的扫描数据，转换为具有高质量真值的大规模数据集。作者通过估计一致的家具和场景布局，在所有形状表面上使用高质量的材质，并使用由区域照明和环境图组成的空间变化照明来渲染图像，来实现这一目标。作者在ScanNet数据集上展示了提出方法的实例。在作者提出数据集上训练的深度网络，与在真实图像上训练的深度网络相比，在估计形状、材质和光照方面具有竞争性的优势，可用于照片级增强现实应用，例如物体插入和材质编辑。另外，作者将发布这个数据集以及通过扫描数据创建此类数据集的所有工具，从而使社区中的其他人可以轻松地构建自己的大规模数据集。
