CVPR2023 最佳论文候选 | 使用最大团约束进行点云配准

本文首发于微信公众号 CVHub，严禁私自转载或售卖到其他平台，违者必究。

Title: 3D Registration with Maximal Cliques

Paper: https://arxiv.org/pdf/2305.10854.pdf

Code: https://github.com/zhangxy0517/3d-registration-with-maximal-cliques

导读

在计算机视觉中，三维点云配准（PCR）是寻找最佳位姿以对齐一对点云的基本问题。本文提出了一种基于最大团（maximal cliques,MAC）的三维配准方法。关键洞察是放宽了之前的最大团约束，在图中挖掘更多的局部一致性信息用于准确的位姿假设生成：**1）构建兼容性图以表示初始对应关系之间的亲和关系。2）在图中搜索最大团，每个最大团代表一个一致性集合。然后进行节点引导的团选择，其中每个节点对应于具有最大图权重的最大团。3）通过奇异值分解算法计算所选团的变换假设，并选择最佳假设进行配准。**在U3M、3DMatch、3DLoMatch和KITTI上进行了大量实验，结果表明MAC能够有效提高配准准确性，优于各种最先进的方法，并提升了深度学习方法的性能。MAC与深度学习方法相结合，在3DMatch/3DLoMatch上实现了95.7%/78.9%的SOTA配准召回率。

背景

点云配准（PCR）是三维计算机视觉中的重要问题，用于将两个点云精确对齐。传统方法使用点对点特征对应进行配准，但由于特征匹配中的离群值和噪声，准确的配准变得困难。现有的解决方案包括几何方法和基于深度学习的方法。

几何方法

几何方法使用**随机抽样一致性（RANSAC）**等算法进行迭代采样，但在离群值率高时性能下降，并且计算复杂度较高。

深度学习方法

基于深度学习的方法则专注于改进配准过程中的特定模块，如更具区分度的关键点特征描述符或更有效的对应关系选择技术。部分方法采用端到端的方式进行配准。然而，基于深度学习的方法通常需要大量的训练数据，并且在不同数据集上缺乏泛化能力。

贡献

本文的主要贡献如下：

引入了一种名为MAC的假设生成方法。相比先前的最大团约束，论文的MAC方法能够在图中挖掘更多的局部信息。论文证明了即使在存在大量离群值的情况下，MAC生成的假设也具有很高的准确性。
基于MAC，论文提出了一种新颖的PCR方法，在U3M、3DMatch、3DLoMatch和KITTI数据集上实现了最先进的性能。值得注意的是，论文提出的基于几何方法的MAC方法在性能上优于一些最先进的深度学习方法。MAC还可以作为模块插入多个深度学习框架中，以提升它们的性能。MAC与GeoTransformer相结合，在3DMatch和3DLoMatch数据集上实现了95.7% / 78.9%的最先进的配准召回率。

方法

为了对齐两个点云 $P_s$ 和 $P_t$ ，论文首先使用几何或学习到的描述符提取它们的局部特征。假设 $p^s$ 和 $p^t$ 分别表示点云 $P^s$ 和 $P^t$ 中的点。通过匹配特征描述符，形成初始对应集合 $C_{initial} = \{c\}$ ，其中 $c = (p^s, p^t)$ 。MAC从 $C_{initial}$ 中估计 $P^s$ 和 $P^t$ 之间的6-DoF位姿变换。

其流程如图2所示。

Graph Construction

图空间能够更准确地描述对应关系之间的亲和性关系，优于欧氏空间。论文考虑两种构建兼容性图的方法：

First Order Graph

第一阶图（FOG）是基于对应关系对 $c_i,c_j)$ 之间的刚性距离约束来构建的，可以通过以下方式进行定量测量：

$c_i$ 和 $c_j$ 之间的兼容性分数可以表示为：

其中， $d_{cmp}$ 是一个距离参数

Second Order Graph

二阶图（SOG）是基于一阶图（FOG）演化而来的。权重矩阵WSOG可以计算如下：

这两种图形构造方法都可以适应本文的框架。与FOG相比：

SOG具有更严格的边缘构造条件，与相邻节点的兼容性更高；
SOG更稀疏，便于更快速的搜索团。

Search Maximal Cliques

Searching for Maximal cliques

论文提出了一种使用最大团生成假设的方法。与之前的最大团约束相比，论文方法放宽了约束并利用最大团挖掘更多的局部图信息。通过使用igraph库中的最大团函数，论文方法可以高效地搜索最大团。这种方法能够更好地挖掘对应关系之间的亲和性，提高假设的生成效果。

Node-guided Clique Selection

在执行最大团搜索过程后，获得了最大团集合 $MAC_{initial}$ 。实际上， $MAC_{initial}$ 通常包含数万个最大团，如果考虑所有最大团，将会非常耗时。因此引入了一种节点引导的最大团选择方法来减少 $MAC_{initial}$ 的数量。首先为 $MAC_{initial}$ 中的每个最大团计算权重。给定一个最大团 $C_i=(V_i，E_i)$ ，其权重 $w_{C_i}$ 计算如下：

其中， $w_{e_j}$ 表示 $W_{SOG}$ 中的边 $e_j$ 的权重。一个节点可能被多个最大团包含，论文只保留该节点具有最大权重的最大团，还提出了几种技术来进一步筛选最大团：

Normal consistency

在最大团中，论文通过比较对应关系之间的法线向量的角度差来检查它们的法线一致性。如果角度差满足特定阈值条件，就认为这些对应关系是法线一致的。这种法线一致性检查可以帮助筛选出满足一致性要求的对应关系，并进一步优化的最大团选择过程：

Clique ranking

论文根据最大团的权重 $w_{C_i}$ 对 $MAC_{selected}$ 进行降序排序。排名靠前的最大团更有可能产生正确的假设。这种排序方式可以灵活地控制假设的数量，通过选择排名前K的最大团来控制假设的个数。

Hypothesis Generation and Evaluation

从上一步中过滤出来的每个最大团代表一组一致的对应关系。通过将SVD算法应用于每个一致性集，可以得到一组6自由度的姿态假设。

Instance-equal SVD
对于对应关系的转换估计通常使用奇异值分解（SVD）实现。"Instance-equal"指的是所有对应关系的权重相等。
Weighted SVD
在最近的PCR方法中，常常通过为对应关系分配权重来进行处理。对应关系的权重可以通过求解兼容性图构建的兼容性矩阵的特征向量来得到。在这里将 $W_{SOG}$ 的主特征值作为对应关系的权重。

MAC的最终目标是估计最优的6自由度刚体变换（由旋转姿态 $R^∗∈SO(3)$ 和平移姿态 $\mathbf{t}^{*} \in \mathbb{R}^{3}$ 组成），该变换最大化以下目标函数：

其中 $c_i ∈ C_{initial}$ ， $N = |C_{initial}|$ ， $s(c_i)$ 表示 $c_i$ 的得分。论文在这里考虑了几种RANSAC假设评估指标，包括均方误差（MAE）、均方根误差（MSE）和内点数。然后选择最佳假设进行3D配准。

实验

Results on U3M Dataset

上表结果表明，MAC表现最佳，并且在MAE评估指标下明显优于所有经过测试的基于RANSAC的估计器，如SAC-COT、OSAC、SAC-IA和RANSAC。基于MAE评估指标，MAC在U3M上的配准性能最好。

Results on 3DMatch & 3DLoMatch Datasets

PCR methods comparison

在比较中考虑了几何方法和深度学习方法，包括SM、FGR、RANSAC、TEASER++、CG-SAC、SC2-PCR、3DRegNet、DGR、DHVR和PointDSC。结果显示在表1和表2中：

无论使用哪种描述符，MAC在3DMatch和3DLoMatch数据集上的表现都优于所有比较的方法，表明其在配准室内场景点云方面具有强大的能力
即使与深度学习方法相比，MAC仍然在没有任何数据训练的情况下实现了更好的性能
除了配准册召回率（RR）指标外，MAC还在RE和TE指标上表现最佳。这表明MAC的配准非常准确，并且能够对鲜有重叠的数据进行对齐

Boosting deep-learned methods with MAC

如上表所示，MAC与多种深度学习方法进行结合，在3DMatch和3DLoMatch数据集上取得了显著的配准召回率提升。与GeoTransformer相比，MAC能够更好地提升SpinNet、Predator和CoFiNet的性能。MAC的性能不受样本数量的影响。这些结果表明：

MAC能够极大地提升现有的深度学习方法的性能；
MAC对于样本数量不敏感，可以适用于不同数量的样本。

Results on KITTI Dataset

在表格4中，论文对比了DGR、PointDSC、TEASER++、RANSAC、CG-SAC、SC2-PCR和MAC的结果。
从表格中可以看出，就配准召回率而言，MAC表现最好，并与FPFH和FCGF描述符设置分别并列排名第一。MAC的TE指标也低于最先进的仅凭几何信息的方法SC2-PCR。需要注意的是，室外点云数据明显稀疏且非均匀分布。在物体、室内场景和室外场景数据集上的配准实验一致验证了MAC在不同应用场景中具有良好的泛化能力。

总结

在这篇论文中，研究者提出了MAC方法，通过使用最大团约束从对应关系中生成精确的姿态假设来解决PCR问题。论文的方法在所有测试数据集上实现了最先进的性能，并且能够适应深度学习方法以提升它们的性能。然而，如表7和表1所示，MAC可能会偶尔无法找到准确的假设。未来的工作包括开发一种更可靠的假设评估技术，利用语义信息来提高性能。

CVHub是一家专注于计算机视觉领域的高质量知识分享平台，全站技术文章原创率达99%，每日为您呈献全方位、多领域、有深度的前沿AI论文解决及配套的行业级应用解决方案，提供科研 | 技术 | 就业一站式服务，涵盖有监督/半监督/无监督/自监督的各类2D/3D的检测/分类/分割/跟踪/姿态/超分/重建等全栈领域以及最新的AIGC等生成式模型。关注微信公众号，欢迎参与实时的学术&技术互动交流，领取CV学习大礼包，及时订阅最新的国内外大厂校招&社招资讯！