原创 | 文 BFT机器人
05
基于优化的配准方法
基于优化的方法的关键思想是开发复杂的优化策略来实现方程（1）中非线性问题的最优解。
由于同源挑战的影响，这个非线性问题变得具有挑战性。图（2a）总结了该类别的主要过程。基于优化策略，本节概述了四种类型的优化方法：基于ICP的变化、基于图、基于GMM和半定配准方法。图3说明了几种里程碑方法。
图3：最相关的基于优化的方法的时间概述
5.1 基于ICP的配准
基于ICP的配准方法包含两个主要步骤：对应估计和变换估计。关键的研究思路分为两部分，如图2a所示：鲁棒对应估计和精确变换估计。
对应是位于对象或场景的相同位置的两个点，其中每个点来自不同的点云。由于上述相同源挑战的影响，对应估计变得具有挑战性。距离度量有三种类型：点到点、点到平面和平面到平面度量来获得对应关系。我们将提供有关这些距离度量的详细信息并回顾相关文献。
点对点度量使用点对点坐标距离或特征距离来寻找最接近的点对作为对应关系。为了获得更好的对应性，提出了遵循这个概念的许多变体。例如，ICP[6]使用原始的点到点距离度量。EfficientVarICP[85]总结了ICP过程，并提出了几种提高ICP过程算法速度的策略。IMLP[7]通过将测量噪声纳入变换估计中来改进 ICP。
点到平面度量是通过最小化一个点云中的点与点云中相应的局部平面之间的正交距离来估计变换参数。具体来说，点到平面算法的运行方式与点到点方法类似，但最小化沿表面法线的误差。
此外，采用平面到平面距离度量来估计对应关系。目标与点到点距离度量类似。关于变换矩阵，基于SVD的估计方法对对应关系的差异执行奇异值分解（SVD）。Low等人提出了旋转矩阵的线性近似并使用SVD估计变换。它获得更快的效率和更高的准确性。LK算法使用特征差的雅可比行列式和近似方法（例如高斯-牛顿）来估计变换。LM-ICP利用LevenbergMarquardt算法通过在原始LK算法中添加阻尼因子来估计变换。该方法用Chamfer距离代替欧氏距离，并使用Levenberg-Marquardt算法来计算Tk。
5.2 基于图的配准
基于图的配准是另一种流行的方法。基于图的配准的主要思想是使用非参数模型来处理点云配准。由于图由边和顶点组成，GM方法旨在通过考虑顶点和边来找到两个图之间的点对点对应关系。GM方法中的对应搜索问题可以被视为优化问题。研究方向是开发更好的图匹配优化策略以找到更准确的对应关系。如图2a所示，准确的对应关系有助于更好的变换估计。
为了解决优化问题，根据目标函数的约束，我们可以将GM方法分为两类：二阶方法和高阶方法。二阶GM方法测量顶点到顶点和边到边的相似性。高阶GM方法涉及两个以上的点，例如三角形对的相似度。
图匹配的优化属于二次分配问题（QAP），这是一个NP难问题。解决这个QAP问题的关键是设计近似策略。根据其近似方法，我们将二阶GM方法分为三类：双随机松弛、谱松弛和半定规划松弛。使用双随机矩阵，优化GM转化为非凸QAP问题。因此，许多方法只能找到局部最优。例如，使用线性程序来近似二次成本。CSGM使用线性程序来解决图匹配问题，并将其应用于解决跨源点云配准任务。高阶图使用整数投影算法来优化整数域中的目标函数。FGM将大的成对亲和力矩阵分解为一些较小的矩阵。然后，用简单的路径跟踪优化算法解决图匹配问题。谱图[57]使用谱松弛方法来近似QAP问题。
半定规划（SDP）松弛是使用凸半定来松弛非凸约束。然后，应用随机算法或赢家通吃方法来查找图之间的对应关系。
5.3 基于GMM的配准
高斯混合模型（GMM）也是解决点云配准的一种流行方法。基于GMM的方法的关键思想是将方程（1）的配准问题表述为输入数据的似然最大化。
优化后，计算高斯混合模型的变换矩阵和参数。基于GMM的方法的优点是对噪声和异常值具有鲁棒性，因为这些方法对齐了分布。
研究方向是开发一种优化策略，通过最大化似然来优化变换矩阵。
CPD通过添加变换估计约束，将运动漂移思想引入GMM框架。
CH-GMM将凸包（原始点集的更紧密的集合）和GMM结合起来以降低计算复杂度。JRMPC将配准重新定义为聚类问题，其中通过求解GMM来优化转换。最近，DeepGMR使用深度学习来学习GMM分量和点之间的对应关系，并且可以通过前向步骤来估计变换和GMM参数。
06
基于特征学习的配准方法
特征学习方法的主要思想是利用深层特征来估计准确的对应关系。然后，可以使用一步优化（例如SVD或RANSAC）来估计变换，而无需在对应估计和变换估计之间进行迭代，如图2b所示。研究方向是设计先进的神经网络来提取独特的特征。在本节中，回顾了几种特征学习配准方法。从深度学习的数据格式来看，这些配准方法分为体数据学习和点云学习。
图4：最相关的特征学习配准方法的时间概述
6.1 基于体素特征的深度学习
3DMatch从RGBD图像训练并行网络。3DMatch的输入是3D体素数据，输出是局部补丁的512维特征。DMatch可以提取3D点云的局部特征。图5显示了其整体框架，这是图2b中神经网络的一个示例。对于3D点云的每个兴趣点，3DMatch都会提取一个特征来合并兴趣点周围的局部结构。在3DMatch中，3D点云需要转换为3D体素数据，然后通过将3D体素数据输入神经网络来提取局部表示。这种方法有两个明显的缺点：体素数据需要大量的图形处理单元（GPU）内存并且对旋转变化敏感。
图5：3DMatch的整体框架
3DSmoothNet引入了一种预处理方法来对齐3D补丁并根据对齐的3D补丁计算体素数据。通过将对齐的体素数据输入卷积神经网络，提取的特征是旋转不变的。具体来说，使用所有点的协方差矩阵的特征分解来估计局部参考系（LRF）。使用LRF对齐点云后，对输入网格应用高斯平滑以获得平滑的密度值（SDV）体素化。然后，将 SDV输入到网络中进行特征提取。为了提高基于体素的描述符的效率，FCGF使用1×1×1内核来提取快速且紧凑的度量特征以进行几何对应。
有很多文献关注于处理大内存成本的限制。关键思想是删除空体素，因为3D点云通常稀疏地位于3D体积数据中。OctNet使用八叉树将体积数据分层划分为不平衡树，其中每个叶节点存储特征表示。
6.2基于点云的深度学习
PPFNet不是向网络提供体素数据，而是学习纯几何的局部描述符，并且高度了解全局上下文。该方法使用点对特征（PPF）对输入点云补丁进行预处理以实现旋转不变。然后，将点云输入到PointNet中以提取局部特征。然后，通过应用最大池化操作获得全局特征。全局和局部特征都输入到MLP块中，以生成最终的对应搜索特征。其局限性在于需要大量的注释数据。为了解决这个问题，PPF-FoldNet提出了一种无监督方法来消除注释需求约束。整体框架如图6所示。基本思想是使用PointNet对特征进行编码，并使用解码器将特征解码为与输入相同的数据。通过使用Chamfer损失来利用输入和输出之间的差异来优化整个网络。类似地，SiamesePointNet通过分层编码器-解码器架构生成兴趣点描述符。
由于不需要对匹配点簇进行手动注释，3DFeatNet引入了一种弱监督方法，该方法利用对齐和注意机制从GPS/INS标记的3D点云中学习特征对应关系，而无需明确指定它们。更具体地说，该网络采用一组包含锚点、正点云和负点云的三元组。他们通过最小化锚点云和正点云之间的差异，同时最大化锚点云和负点云之间的差异来训练具有三元组损失的神经网络。对齐通过使用跟踪框架关注部分观察到的对象对齐，该框架试图估计以对象为中心的相对运动。此外，这种方法使用神经网络，将对象的嘈杂3D点段作为输入来估计其运动，而不是用其中心点来近似目标。利用颜色和空间几何信息来解决点云配准。
由于ICP需要对最近点进行硬分配，因此它对初始变换和噪声/异常值很敏感。
图6：PPFNet的整体框架
07
基于端到端学习的配准
端到端学习基配准方法的主要思想是将两个点云输入神经网络，输出是这两个点云之间的变换矩阵。有两类：（1）将配准视为回归问题，并使用神经网络拟合回归模型进行变换矩阵估计；图8显示了这些方法的总体框架。（2）通过神经网络和优化的结合将配准视为端到端框架。图2c显示了这些方法的总体框架。这两类旨在训练深度神经网络来直接解决方程1中的配准问题。图7说明了几种里程碑式的方法。
图7：最相关的端到端学习配准方法的时间概述
7.1通过回归进行配准
Deng等人提出了一个relativeNet来直接从特征估计姿势。Lu等人提出了一种基于一组候选者之间学习到的匹配概率来检测关键点的方法（DeepVCP），这可以提高配准精度。Pais等人开发了一个分类网络来识别内部值/异常值，并使用回归网络来估计内部值的变换矩阵。
图8通过回归显示了这些配准方法的总体框架。与图2c的联系是，变换模块是用X-Net模块实现的。
图8：基于端到端学习的回归方法的整体框架
7.2通过优化和神经网络进行配准
该类别的主要思想是将传统的配准相关优化理论与深度神经网络相结合来解决等式1中的配准问题。图2c显示了这些方法的总结。PointNetLK使用PointNet提取两个输入点云的全局特征，然后使用逆合成（IC）算法来估计变换矩阵。通过估计变换矩阵，目标是最小化两个特征之间的特征差异。对于这种基于特征的IC算法，雅可比行列式估计具有挑战性。
PointnetLK通过有限差分梯度计算使用近似方法。这种方法允许应用计算效率高的逆合成Lucas-Kanade算法。Huang等人通过自动编码器和点距离损失进一步改进了PointNetLK。同时，它可以减少对标签的依赖。
DeepGMR使用神经网络来学习姿势不变的点到分布参数的对应关系。然后，这些对应关系被输入GMM优化模块来估计变换矩阵。DGR提出了一种用于内点似然预测的6维卷积网络架构，并通过加权Procrustes模块估计变换。这些方法表明，传统优化方法与最新深度学习策略的结合比以前的方法获得了更好的精度。
08
总结
本文对同源和跨源域的点云配准进行了全面的调查。在本次调查中，我们首次对跨源点云配准进行了回顾，并评估了跨源数据集上现有的最先进的配准方法。
此外，我们总结了基于优化的方法和深度学习方法之间的联系。之后，我们总结了点云配准的可能应用。最后，我们提出了配准领域的几个未来研究方向和开放问题。
作者 | 江城
排版 | 小河
审核 | 橙橙
若您对该文章内容有任何疑问，请与我们联系，我们将及时回应。如果想要了解更多的前沿资讯，记得点赞关注哦~