Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation

  • 目标:探索点之间的语义关系
  • 解决方法:通过编解码器,迭代的构建点云图。
  • 缺点:计算量太大了,每次迭代都要计算一次k近邻并建图。

整个模型分为两个部分,编码器和解码器,其中编码器遵循PointNet++结构,对点云进行下采样。解码器部分不断对点云上采样、编码、融合。解码器有两个主要的模块:针对点的模块和针对边的模块,分别对点和边进行上采样和特征提取。具体结构图如下:
avatar

边分支

边分支的作用为从上一层图中提取边特征,以获取更高维的语义信息。在这一过程中到了上一层的点坐标、边信息、点特征和边特征。
具体来讲,边模块的结构图如下所示。模块首先根据L-1层的图进行了扩充,得到L层的图。然后再根据L-1层的边特征和L层的图结构得到L层的边特征。
avatar
针对一条具体的边\(e_{i,j}\)来说,该边在L层的特征融合了点i、j和该边在L-1层的特征。具体的融合函数如下。先利用\(f_{edge}\)函数将点特征\(F_{i}\)和点\(F_{j}\)进行融合,再通过\(f_{ext}(MLP)\)进行特征提取,再拼接边\(e_{i,j}\)在L-1层的特征,利用\(f_{ext}(MLP)\)进行特征提取得到边\(e_{i,j}\)在L层的特征。
avatar
其中\(f_{edge}\)函数的具体形式为:
avatar
其中\([\cdot,\cdot,\cdot]\)表示对三个元素进行拼接。即拼接两点的坐标差以及两点特征。
得到L层的边特征后,可以对L层的点特征进行更新,公式为:
avatar

图的构建

在上文的结构图中可以看到,模型迭代构建图模型的基础是第0层图,0层图是图模型的初始化。构建过程分为两部,先根据最远点采样法对点云进行下采样,然后对图中每个点的k近邻划边,构成初始图模型。
现在假设我们得到了L-1层的图,我们通过点的上采样得到了L层的初始图\(G^{0}_{L}\)。针对点i,j,先求出其邻接点集合\(N^{L-1}_{k}(p_{i})\)\(N^{L-1}_{k}(p_{j})\),其中每个邻接点集都满足是L-1层点集子集的要求。若这两个邻接点集合在L-1层是有边的,则i、j在L层有边。
avatar

实验效果

经过多次迭代构建的点云图,在多个数据集的点云分割任务上表现良好。
avatar
其中SPGraph是超点图。

猜你喜欢

转载自www.cnblogs.com/AnnaJuly/p/12387371.html