3D视觉前沿论文整理-2020年7月第4周-三维重建

本文同步于微信公众号：3D视觉前沿，欢迎大家关注。

本期带来上周在arXiv公开的相关论文共12篇，其中涉及三维重建、点云生成、网格变形等，这里只是给出大致简介，详细了解可阅读原文。

一、三维重建、点云生成、网格变形：

1. [ECCV] 3D Human Shape Reconstruction from a Polarization Image

• 作者机构：Shihao Zou, et al. University of Alberta, etc.

• 论文地址：https://arxiv.org/pdf/2007.09268.pdf

• 简介：本文解决了从单幅2D偏振图像估计穿衣者3D身体形状的问题。偏振图像能够捕获保持物体丰富的几何线索的偏振反射光，这激发了其在重建感兴趣物体的表面法线中的最新应用。受最新基于彩色图像估计人体形状进展的启发，作者尝试利用单偏振图像中的几何线索来估计人体形状。作者提出了一种称为SfP的两阶段深度学习算法：给定一个偏振图像，第一阶段旨在推断细微的身体表面法线，第二阶段旨在重建包含服装细节的3D身体形状。在合成数据集（SURREAL）和作者提出的真实数据集（Polarization Human Shape and Pose Dataset，PHSPD）进行的经验评估实验，展示了作者提出的方法在估计人体姿势和形状方面的定性和定量性能。这表明对于人体形状估计任务，偏振相机可以是常用的彩色或深度相机的潜在替代品。此外，从偏振图像推断出的法线图在准确地恢复穿衣者的身体形状方面起着重要作用。
  
  
  2. [ECCV] CAD-Deform: Deformable Fitting of CAD Models to 3D Scans

• 作者机构：Vladislav Ishimtsev, et al. Skolkovo Institute of Science and Technology, etc.

• 论文地址：https://arxiv.org/pdf/2007.11965.pdf

• 论文代码：https://github.com/alexeybokhovkin/CAD-Deform

• 简介：形状检索再对齐是将3D扫描数据转换为可用于内容创建（例如移动或AR/VR游戏场景）的轻量级CAD表示形式的一种有效方法。然而，CAD模型的检索受到标准3D形状数据集（例如ShapeNet）中模型可用性的限制。在这篇论文中，作者提出了一种CAD-Deform的方法来解决此缺陷。CAD-Deform能够将检索到的CAD模型进行非刚性变形，以获得更精确的CAD模型到扫描点云数据的拟合。作者的主要贡献是提出了一种结合了平滑转换与尖锐特征保持的非刚性变形模型，即实现了从CAD模型到3D扫描点云的紧密拟合，也保持了CAD模型的高质量的表面特性。一系列实验表明，作者的方法实现了从扫描数据到CAD模型的极其紧密的拟合，在保留了CAD模型重要几何特征的同时，更精确地将现实环境进行了数字化。
  

3. [ECCV] Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction

• 作者机构：Bharat Lal Bhatnagar, et al. Saarland Informatics Campus & Google Research
• 论文地址：https://arxiv.org/pdf/2007.11432.pdf
• 论文代码：http://virtualhumans.mpi-inf.mpg.de/ipnet
• 简介：以深度学习近似作为表示的隐式函数对于重建3D形状表面非常有效，但它们只能生成不可控制的静态表面，这限制了通过编辑其姿势或形状参数来修改其生成模型的能力。然而，这些学习到的特征对于构建用于计算机图形和计算机视觉的灵活模型至关重要。在这篇论文中，作者提出了一种将细节丰富的隐式函数和参数表示相结合的方法，以便重建即使在穿衣服的情况下仍可被控制且精确的人的3D模型。给定在穿衣者的表面上采样的稀疏3D点云，作者首先使用一个隐式部分网络（Implicit Part Network，IP-Net）同时预测穿衣者的3D外表面，内部的身体表面以及与一个参数化身体模型（SMPL）的语义对应。其次，作者使用语义对应关系将参数化身体模型拟合到穿衣者的内部身体表面，并进行非刚性变形（基于参数化身体模型+位移模型）到3D外表面，以捕获服装、脸部和头发的细节。在对全身和手部3D扫描数据进行定量和定性实验后，作者展示了提出方法的普适性，即使在从单视角深度图像中恢复的不完整点云上也有效。
  

4. [ECCV] Coupling Explicit and Implicit Surface Representations for Generative 3D Modeling

• 作者机构：Omid Poursaeed, et al. Cornell University, etc.
• 论文地址：https://arxiv.org/pdf/2007.10294.pdf
• 简介：作者提出了一种表示3D表面的神经体系结构，该体系结构利用了两个互补的形状表示形式：（i）基于atlas的显式表示，即将2D域嵌入到3D中; （ii）隐式函数表示，即3D体数据上的标量函数，其水平值表示3D表面。作者通过引入新颖的一致性损失来确保这两种表示形式能够协同，这种一致性损失可确保从atlas创建的表面与隐函数的水平集对齐。和两个等效的单表示网络结构相比，作者的混合表示结构输出的结果更优，可生成具有更准确法线和更准确隐式占用函数的更平滑的显式表面。此外，作者的表面重建步骤可以直接利用基于atlas的显式表示，该过程计算效率高，可以由可微分的光栅化器直接使用，从而可以使用基于图像的损失来训练提出的混合表示。
  

5. [ECCV] Discrete Point Flow Networks for Efficient Point Cloud Generation

• 作者机构：Roman Klokov, et al. Inria, France & Facebook AI Research
• 论文地址：https://arxiv.org/pdf/2007.10170.pdf
• 简介：事实证明，生成模型可以有效地对3D形状建模并其统计其变化。点云是计算机视觉中广泛使用的3D形状表示形式，但至今仅有少量针对点云的生成模型。在本文中，作者研究了它们在点云上的应用，提出了一个潜在变量模型，该模型能够在给定潜在形状表示的情况下，基于具有仿射耦合层的标准化流，生成任意大小的3D点云。为了评估提出方法对形状建模的有效性，作者将此模型应用于生成、自编码和单视图形状重建任务。作者在评估生成和自动编码的大多数指标上，对最近的基于GAN的模型进行了改进。与基于连续流的最新工作相比，作者的模型在实现相似或更好的性能上，训练和推理速度均有显著提升。对于单视图形状重建，作者还获得了与最新的基于体素、点云和网格的方法相当的结果。
  

6. [ECCV] Least squares surface reconstruction on arbitrary domains

• 作者机构：Dizhong Zhu, et al. University of York
• 论文地址：https://arxiv.org/pdf/2007.08661.pdf
• 论文代码：https://github.com/waps101/LSQSurfaceReconstruction
• 简介：计算机视觉领域当需要对表面求导时，通常仅使用一阶精确的有限差分近似来计算。作者提出了一种基于二维Savitzky-Golay滤波器和K近邻核的计算数值导数的新方法。所得的导数矩阵可在存在大噪声的情况下用于任意（甚至断开）领域上的最小二乘曲面重建，并允许进行高阶多项式局部表面逼近。这可用于一系列任务，包括从深度估计法线（即表面微分），从法线恢复高度（即表面整合）以及从X恢复形状的任务。作者展示了如何使用相同的公式，将正交或透视的从法线恢复高度任务，写为线性最小二乘问题，并且避免在透视情况下变量的非线性变化。作者在合成和真实数据上展示了针对这些任务，提出算法相比于当前最优技术的性能提升。
  

7. [ECCV] Meshing Point Clouds with Predicted Intrinsic-Extrinsic Ratio Guidance

• 作者机构：Minghua Liu, Xiaoshuai Zhang, and Hao Su. UCSD
• 论文地址：https://arxiv.org/pdf/2007.09267.pdf
• 简介：这篇论文处理的是从点云重构物体表面网格的任务，而表面重建是下游应用（例如渲染、碰撞检测、动画等）的先决条件。然而，这项任务在输入点云的分辨率较低的情况下极具挑战性，这种情况在实际中很常见，例如来自LiDAR或Kinect传感器的点云。现有的基于学习的网格生成方法，主要通过首先在整个对象级别上构建形状嵌入来预测表面，这种设计会在生成细粒度细节并将其泛化到未知类别时带来问题。相反，作者提出通过仅向现有点添加连接信息，来尽可能地利用输入点云。特别是，作者预测哪些点构成的三元组可以形成三角面片。作者的关键创新是，通过比较内部/外部度量来计算的本地连通性的替代方案。作者首先使用深度点云网络来学习对这种替代方案的预测，然后将其提供给有效的后处理模块以生成高质量的网格。作者展示了提出的方法不仅可以保留细节，处理不明确的结构，而且还可以通过对合成数据和真实数据的实验，在未知类别上展现很强的泛化性。
  

8. [arXiv] Neural Mesh Flow: 3D Manifold Mesh Generation via Diffeomorphic Flows

• 作者机构：Kunal Gupta, Manmohan Chandraker. UCSD
• 论文地址：https://arxiv.org/pdf/2007.10973.pdf
• 代码地址：https://kunalmgupta.github.io/projects/NeuralMeshflow.html
• 简介：网格是虚拟世界中对物理3D实体的重要表示形式。在渲染、仿真和3D打印之类的应用中，要求网格是流形，以便它们可以像它们所代表的真实对象那样与世界交互。以前方法生成的网格，具有很高的几何精度，但具有很差的流形结构。在这项工作中，作者提出了神经网格流（Neural Mesh Flow，NMF）为亏格为0的形状生成二流形网格。具体来说，NMF是一种形状自动编码器，由几个神经常微分方程（Neural Ordinary Differential Equation ，NODE）块组成，这些块通过逐渐使球形网格变形来学习精确的网格几何形状。与最新方法相比，训练NMF更为简单，因为它不需要任何基于网格的显式正则化。作者的实验证明NMF可以简化多种应用，例如单视角网格重建、全局形状参数化、纹理贴图、形状变形与对应。重要的是，作者展示了使用NMF生成的流形网格更适合基于物理的渲染和仿真。
  

9. [ECCV] Points2Surf: Learning Implicit Surfaces from Point Clouds

• 作者机构：Philipp Erler, et al. TU Wien, etc.
• 论文地址：https://arxiv.org/pdf/2007.10453.pdf
• 论文代码：https://github.com/ErlerPhilipp/points2surf
• 简介：任何基于扫描数据的数字化过程中，一个关键步骤是将无序点云转换为表面。在存在噪声或仅有部分扫描数据的情况下，经典方法（例如，泊松重建）开始退化。因此，近年来提出了基于深度学习的方法来产生完整的表面，甚至可以基于局部扫描数据。但是，这种数据驱动的方法很难推广到具有较大几何和拓扑变化的新形状。作者提出了Points2Surf，这是一个新颖的基于块（patch-based）的学习框架，可以直接从不包含法线的原始扫描数据中生成精确的表面。通过详细局部块和粗略全局信息的组合来学习先验，可以提高算法的泛化性能和重建精度。作者基于合成数据和真实数据进行了广泛的比较，展示了提出的方法相对于最新的其他方法，在未知类别上具有明显的优势（平均而言，Points2Surf的重构误差比SPR降低了30％，比当前最优的基于深度学习的方法降低了270％+），但会花费较长的计算时间，并且在某些情况下会稍微增加小规模的拓扑噪声。
  

10. [arXiv] Polylidar3D - Fast Polygon Extraction from 3D Data

• 作者机构：Jeremy Castagno and Ella Atkins. University of Michigan
• 论文地址：https://arxiv.org/pdf/2007.12065.pdf
• 简介：处理稠密点云要求很高的计算和存储成本，因此带来了对诸如多边形之类的平面进行低维表示的需求。作者提出了Polylidar3D，这是一种非凸多边形提取算法，它以无序的3D点云（例如LiDAR数据）、有序的点云（例如深度图像）或用户提供的网格作为输入。非凸多边形能够表示环境中的平面，内部切口表示障碍物或孔。 Polylidar3D的前端将输入数据转换为半边结构的三角形网格，该表示为后续的后端处理提供了通用级别的输入数据抽象。 Polylidar3D的后端由四个核心算法组成：网格平滑、主平面法线估计、平面分段提取以及最后的多边形提取。 Polylidar3D的速度非常快，可以利用CPU多线程和GPU加速。作者通过在真实数据集上的实验展示了Polylidar3D的多功能性和快速性，这些数据集包括用于屋顶建图的空中LiDAR点云、用于路面检测的自动驾驶LiDAR点云以及用于室内地板/墙壁检测的RGB-D数据。作者还在一个具有挑战性的平面分割基准数据集上评估了Polylidar3D，结果也显示了极好的速度和准确性。
  

11. [ECCV] Shape and Viewpoint without Keypoints

• 作者机构：Shubham Goel, et al. UC Berkeley
• 论文地址：https://arxiv.org/pdf/2007.10982.pdf
• 论文代码：https://shubham-goel.github.io/ucmr/
• 简介：作者提出了一个学习框架能够从单幅图像恢复3D形状、位姿和纹理，并且可以在没有任何真值3D形状、多视图、摄像机视点或关键点监督的图像数据上进行训练。作者使用“通过合成分析”框架来解决这个高度受限制的问题，该框架的目标是预测潜在可能的形状、纹理和相机视点，以便能够结合各种学习到的类别先验产生特定图像。本文的特别贡献是一种描述摄像机分布的表示形式，作者称之为“camera-multiplex”。作者不是选择一个点估计，而是维护了一组相机假设，这些假设在训练过程中进行了优化，以便在给定当前形状和纹理的情况下最好地解释图像。作者将他们的方法称为无监督的特定类别网格重构（Unsupervised Category-Specific Mesh Reconstruction，U-CMR），并在CUB、Pascal 3D和新的网络抓取数据集上给出了定性和定量结果。结果表明，作者取得了最先进的相机预测结果，并展示了提出方法可以使用没有任何关键点标注或3D真值的图像数据集，预测不同物体的不同形状和纹理。
  

12. [ECCV] Who Left the Dogs Out? 3D Animal Reconstruction with Expectation Maximization in the Loop

• 作者机构：Benjamin Biggs, et al. University of Cambridge & Microsoft
• 论文地址：https://arxiv.org/pdf/2007.11110.pdf
• 简介：作者提出了一种自动的端到端方法，用于从单目互联网图像中恢复狗的3D姿势和形状。 由于存在一些问题，包括狗的品种之间形状差异大、遮挡严重、互联网图像质量差等，使该问题成为一个具有挑战性的问题。 与先前的工作相比，作者学到了比形状更丰富的先验知识，这有助于正则化参数估计。 作者在斯坦福狗数据集上展示了结果，该数据集是包含20580张狗图像的“野外”数据集。作者为此数据集收集了2D关节点和轮廓的标注以进行训练和评估。 为了捕获狗与狗之间的极大形状变化，作者验证了了2D数据集中的自然变化足以通过期望最大化（EM）来学习详细的3D先验。 作为训练的副产品，作者还生成了一个新的参数化模型（包括肢体缩放）SMBLD，并将其与新的注释数据集StanfordExtra一起发布给研究社区。