原创 | 文 BFT机器人
01
摘要
配准是两个点云之间的变换估计问题，在众多计算机视觉应用中具有独特且关键的作用。基于优化的方法和深度学习方法的发展提高了配准的鲁棒性和效率。最近，基于优化和深度学习方法的结合进一步提高了性能。然而，基于优化的方法和深度学习方法之间的联系仍不清楚。此外，随着3D传感器和3D重建技术的发展，跨源点云对齐出现了一个新的研究方向。本次综述进行了全面的调查，包括同源和跨源配准方法，并总结了基于优化的方法和深度学习方法之间的联系，以提供进一步的研究见解。这项调查还建立了一个新的基准来评估解决跨源挑战的最先进的配准算法。此外，本次调查总结了基准数据集并讨论了跨不同领域的点云配准应用。最后，本调查提出了这个快速发展领域的潜在研究方向。
02
本文作者的贡献
综述调查：我们提供同源点云配准最全面的概述，包括传统优化和现代深度学习方法（1992-2021）。我们总结了挑战，分析了每类注册方法的优点和局限性。此外，本文还总结了传统优化和现代深度学习方法之间的联系。
跨源配准调查：我们首次提供有关跨源点云配准的文献综述。这项调查为不同3D传感器（例如Kinect和Lidar）的数据融合研究提供了见解。
新的比较：我们构建了一个新颖的跨源点云基准，然后，在新的跨源点云基准上评估和比较现有最先进的配准算法的性能。这项调查可以为跨源点云应用程序的选择和开发新的注册方法提供指导。
应用和未来方向：我们总结了点云配准的潜在应用，并探索了实际应用中的研究方向。此外，我们还提出了点云配准领域未来可能的研究方向和开放问题。
03
配准中的挑战
3.1 同源挑战
由于点云是从相同类型的传感器但不同的时间或视图捕获的，因此配准问题中存在的挑战包括：
• 噪声和异常值：不同采集时间的环境和传感器噪声会有所不同，捕获的点云将在同一3D位置周围包含噪声和异常值。
• 部分重叠：由于视点和采集时间不同，捕获的点云仅部分重叠。
3.2 跨源挑战
由于点云是从不同类型的传感器捕获的，并且不同类型的传感器包含不同的成像机制中，配准问题中的跨源挑战比同源挑战复杂得多。这些挑战主要可分为：
• 噪声和异常值：由于不同采集时间的采集环境、传感器噪声和传感器图像机制不同，捕获的点云将在同一3D位置周围包含噪声和异常值。
• 部分重叠：由于视点和采集时间不同，捕获的点云仅部分重叠。
• 密度差：由于不同的成像机制和不同的分辨率，捕获的点云通常包含不同的密度。
• 规模变化：由于不同的成像机制可能具有不同的物理度量，因此捕获的点云可能包含尺度差异。
在本文中，我们将对点云配准进行全面审查，并建立一个新的跨源点云基准来评估最先进的配准方法在解决这些挑战方面的性能。
图1点云配准的类别
04
点云配准的类别
本节介绍了我们的点云配准分类，如图1所示。我们将点云配准分为两种类型：同源配准和跨源配准。同源配准又可以分为基于优化的配准方法、特征学习方法、端到端学习配准方法。下面我们对各个类别进行简单介绍，并分析其优点和局限性。
4.1 基于优化的配准方法
基于优化的配准是利用优化策略来估计变换矩阵。大多数基于优化的配准方法包含两个阶段：对应搜索和变换估计。图（2a）总结了该类的主要流程。对应搜索是为另一个点云中的每个点找到匹配点。变换估计是利用对应关系来估计变换矩阵。这两个阶段将迭代进行以找到最佳变换。在迭代过程中，一开始的对应关系可能并不准确。随着迭代过程的继续，对应关系将变得越来越准确。然后，通过使用精确的对应关系，估计的变换矩阵将变得准确。通过比较点与点的坐标差或者点与点的特征差可以找到对应关系。
这一类的优点有两个：1）严格的数学理论可以保证它们的收敛性。2）它们不需要训练数据并且可以很好地推广到未知场景。该类别的局限性在于需要许多复杂的策略来克服噪声、异常值、密度变化和部分重叠的变化，这将增加计算成本。
图（2a）基于优化的点云配准框架
4.2 基于特征学习的配准方法
用于配准的特征学习方法与经典的基于优化的配准方法不同，特征学习方法使用深度神经网络来学习鲁棒的特征对应搜索。
然后，通过一步估计（例如RANSAC）无需迭代即可最终确定变换矩阵。图 (2b) 总结了该类别的主要流程。例如，使用AlexNet从RGB-D数据集中学习3D特征。利用邻近点的分布提出了局部PPF特征，然后输入到网络中进行深度特征学习。[35]提出了一种旋转不变的手工特征并将其输入到深度神经网络中进行特征学习。所有这些方法都使用深度学习作为特征提取工具。通过开发复杂的网络架构或损失函数，他们的目标是通过学习到的独特特征来估计稳健的对应关系。
该类别的优点有两个：1）基于深度学习的点特征可以提供鲁棒性强且准确的对应搜索。2）通过使用简单的RANSAC方法，准确的对应关系可以得到准确的配准结果。
这种方法的局限性在于三个方面：1）需要大量的训练数据。2）如果场景与训练数据有较大的分布差异，则在未知场景中配准性能会急剧下降。3）他们使用单独的训练过程来学习独立的特征提取网络。学习到的特征网络是为了确定点对点匹配而不是配准。
图（2b）基于特征学习的点云配准框架
4.3 基于端到端学习的配准方法
基于端到端学习的方法通过端到端神经网络解决配准问题。该类别的输入是两个点云，输出是对齐这两个点云的变换矩阵。将变换估计嵌入到神经网络优化中，这与上述特征学习方法不同，其重点是点特征学习。神经网络优化与变换估计是分开的。图（2c）总结了该类别的主要过程。端到端学习方法的基本思想是将配准问题转化为回归问题。例如，[109]尝试从要对齐的点云中学习特征，然后从该特征中回归变换参数。[97]提出了一种配准网络来制定源点集和目标点集之间的相关性，并使用定义的相关性来预测变换。[27]提出了一种用于定位的自动编码器注册网络，它结合了超点提取和无监督特征学习。[64]提出了一种关键点检测方法并同时估计相对位姿。FMR[40]提出了一种特征度量配准方法，将配准问题从之前的最小化点对点投影误差转化为最小化特征差异。该方法是结合深度学习和传统Lucas-Kanade优化方法的特征度量配准的开创性工作。
该类别的优点有两个：1）神经网络专门针对配准任务进行设计和优化。2）它可以利用传统数学理论和深度神经网络的优点。
当前方法的局限性有两个方面：1）回归方法将变换参数估计视为黑匣子，距离度量是在基于坐标的欧几里德空间中测量的，该空间对噪声和密度差敏感。2）特征度量配准方法确实考虑了本地结构信息，这对于配准非常重要。
图（2c）基于端到端学习的点云配准框架
4.4 基于端到端学习的配准方法
跨源点云配准是将来自不同类型传感器（例如Kinect和Lidar）的点云对齐。
由于大量噪声和异常值、密度差异、部分重叠和尺度差异的结合，跨源点云配准更具挑战性。几种算法使用复杂的优化策略通过克服跨源挑战来解决跨源点云配准问题。例如，CSGM将配准问题转化为图匹配问题，并利用图匹配理论来克服这些挑战。最近，FMR展示了使用深度学习对齐跨源点云的性能。这些方法正在努力使用优化策略或深度神经网络来克服跨源挑战来估计变换矩阵。
跨源点云配准的好处是结合多个传感器的优势，为许多计算机视觉任务（例如增强现实和建筑施工）提供全面的3D视觉信息。然而，现有的配准方法的局限性在于准确性低、时间复杂度高，仍处于起步阶段。随着近年来3D传感器技术的快速发展，跨源点云配准研究的缺乏造成了传感器技术与跨源应用之间的差距。
图（2d）跨点云配准框架
作者 | 江城
排版 | 小河
审核 | 橙橙
若您对该文章内容有任何疑问，请与我们联系，我们将及时回应。如果想要了解更多的前沿资讯，记得点赞关注哦~