取得が困難なラベル付きデータの制限を緩和し、一般化パフォーマンスを向上させるために、この論文では、注意に基づく注意認識マルチプロトタイプ変換少数ショット点群セマンティックセグメンテーションを提案します。特に、各カテゴリは、ラベル付けされたポイントの複雑な分布をモデル化するためのマルチプロトタイプによって表されます。次に、ラベル伝播を使用して、ラベル付きマルチプロトタイプとラベルなしポイント間の関係、およびラベルなしポイント間の関係を調べます。次に、識別機能を学習するために、注意ベースの多層機能学習ネットワークが設計されています。これらの機能には、幾何学的な依存関係とポイント間の意味的な相関関係が含まれます。

0.1 キーワードと用語の説明

埋め込みネットワーク: サポート点群とクエリ点群の識別機能を学ぶ
マルチプロトタイプ生成 (マルチプロトタイプ): すべての N+1 カテゴリ (N セマンティックカテゴリと 1 つの背景カテゴリ) に対して複数のプロトタイプを生成します。プロトタイプはクラスターの中心点に相当します。
k-NN グラフの構築: セット間 (サポート-クエリ) およびセット内 (サポート-サポート、クエリ-クエリ) の関係を埋め込み空間にエンコードします。プロトタイプと点群間の距離に基づいて構築された関係グラフ。
ラベルの伝播: ラベルのないクエリポイントによって生成された高密度領域に沿って、グラフ全体にラベルを広げます。
cross-entropy loss 関数: すべてのクエリポイントの予測ラベルと実際のラベルの間の損失を計算します

1 はじめに

ポイントクラウドセマンティックセグメンテーション (ポイントクラウドセマンティックセグメンテーション) は、コンピュータービジョンの基本的な問題です。目的は、シーンの 3D ポイントクラウド表現の各ポイントのオブジェクトカテゴリを推定することです。ただし、点群のセマンティックセグメンテーションは、点群の非構造化および順序付けされていない性質のため、課題です。現在の 3D セマンティックセグメンテーションテクノロジの優れたパフォーマンスは、大量のラベル付きデータに依存しており、これらのデータの収集には時間がかかり、困難です。さらに、これらのメソッドは閉集合の仮定に従います。つまり、トレーニングデータとテストデータは同じラベル空間から取得されます。ただし、この仮定は現実的ではありません。トレーニング中に見られなかった多くの新しいカテゴリがあります。したがって、教師ありメソッドによって得られたモデルは、わずかなサンプルしかない新しいカテゴリではうまく一般化できません。

一部の研究 (自己教師あり、弱教師あり、半教師あり) は、ラベル付けされたデータの制限を緩和したいと考えていますが、依然として閉集合の仮定に従っているため、一般化能力は良くありません。少数ショット学習では、少数のサンプルのみを使用して、モデルが新しいカテゴリのタスクを完了できるようにします。この記事では、一般的に使用されるメタ学習戦略のエピソードトレーニングを採用しています。つまり、1 つのセグメンテーションタスクだけで学習するのではなく、同様の少数ショットタスクの分布について学習します。各少数ショットタスクは、いくつかのラベル付きサンプル (サポートセット) といくつかのラベルなしサンプル (クエリセット) で構成され、モデルはサポートから学習した知識を使用してクエリをセグメント化します。少数ショットのトレーニングタスクとテストタスクの一貫性により、モデルは一般化能力が高く、少数の供給サンプルをオーバーフィットすることは容易ではありません。

私たちのアプローチは、変換推論によるセグメンテーションのために、少数ショット制約の下で抽出された識別機能に基づいて、サポートセットのポイントクラウド内のポイントの複雑な分布をモデル化することです。このペーパーでは、プロトタイプネットワーク (プロトタイプネットワーク) も使用します。カテゴリは、サポートされているカテゴリのすべてのラベル付きサンプルの埋め込みの平均であるプロトタイプによって表されます。実際のデータ分布は非常に複雑な場合が多いため、この単一モードのアプローチは適切ではありません。さらに、セマンティックカテゴリ内では、ポイントの空間構造も非常に複雑です。したがって、このホワイトペーパーでは、カテゴリごとに複数のプロトタイプを使用することを提案します。これにより、複雑な分布をより適切にモデル化できます。この論文では、注意を使用して、ポイント間の空間的な依存関係と意味的な相関関係を捉えます。次に、学習された特徴空間内の複数のプロトタイプを使用して、伝達的な方法でセグメンテーションが実行されます。従来のプロトタイプネットワークは、ユークリッド距離を計算することにより、ラベルのないインスタンスとカテゴリプロトタイプを照合します. この論文では、トランスダクティブ推論を使用します: ラベルのないクエリポイントと複数のプロトタイプの間の関係を考慮するだけでなく、ラベルのないクエリポイント間の関係も調査します.

2. 関連作品

3D セマンティックセグメンテーション. ディープラーニングに基づく研究のほとんどは、教師ありアプローチを使用しています。

PointNet は、変形された表現 (ボクセルグリッド、マルチビュー画像など)ではなく、生の点群をセグメント化するように設計された最初のエンドツーエンドニューラルネットワークです。シンプルで効果的ですが、PointNet は隣接ポイントの重要なローカル情報を無視します。

点群は、3 次元空間 (xyz 座標) 内の点の集まりです。

ボクセルは 3D 空間のピクセルです。量子化された固定サイズの点群。各セルは固定サイズで離散座標です。

メッシュはパッチの集まりです。

マルチビュー表現は、シミュレートされたさまざまな視点からレンダリングされた 2D イメージのコレクションです。

DGCNN は、ローカル構造をキャプチャできる EdgeConv モジュールを設計しました。この論文では、DGCNNをバックボーンネットワークとして使用して、局所的な幾何学的特徴と意味的特徴を特徴抽出器として抽出します。

数ショット学習。指標ベースの方法では、目に見えないカテゴリのサンプルのラベルを直接推測できます。中心的なアイデアは、優れた測定関数を学習し、ラベルのないデータとラベルの付いたデータの類似性に基づいて分類することです。マッチングネットワークとプロトタイプネットワークは、ディープネットワークを使用してサポートセットとクエリセットを埋め込み空間にマッピングする 2 つの代表的な測定ベースの方法です。マッチングネットワークはすべての供給サンプルを使用してカテゴリを表し、プロトタイプネットワークは供給サンプルの平均値を使用してカテゴリを表します。これらは両極端です。

少数ショットの画像セグメンテーション。ほとんどの既存のメソッドは、サポートとクエリ間の 1 対多のマッチングの問題をメトリックベースのアプローチで処理し、サポートの各カテゴリはグローバルベクトルとして表されます。

対照的に、Zhang はこのタスクを多対多のマッチング問題と見なしています。サポートはグラフとして表され、グラフ内の各要素はノードです。ただし、この方法は CNN 構造に基づいており、点群には適していません。点群の構造が不規則だからです。また、点群と画像の埋め込み空間の性質が異なります。

3. 方法論

3.1 問題定義

各少数ショットタスク (エピソード) は、N 方向の K ショットポイントクラウドセマンティックセグメンテーションタスクです。各エピソードでは、として表される特定の供給セットには $S{\rm{ = \{ }}\mathop {(\mathop P\nolimits_s^{1,k} ,\mathop M\nolimits_s^{1,k} )}\nolimits_{k = 1}^K {\ rm{,}} \ldots {\rm{,}}\mathop {(\mathop P\nolimits_s^{N,k} ,\mathop M\nolimits_s^{N,k} )}\nolimits_{k = 1} ^K {\rm{\} }}$ 合計 N 個のカテゴリがあり、各カテゴリには K 個のラベル付きサポートポイントクラウド $\mathop P\nolimits_s^{n,k}$ とそれに対応するバイナリマスク (マスク)があります $\mathop M\nolimits_s^{n,k}$ 。各ポイントクラウドには $P\in \mathop R\nolimits^{M\times(3+\mathop f\nolimits_0)}$ M ポイントが含まれます: 座標情報 $\top { \in R}\nolimits^3$ 、追加機能 $\mathop { \in R}\nolimits^{\mathop f\nolimits_0 }$ (例: 色)。 $Q = \mathop {\{ (\mathop P\nolimits_q^i ,\mathop L\nolimits^i )\} }\nolimits_{i = 1}^T$ T クエリポイントクラウド ${\mathop P\nolimits_q^i}$ とそれに対応するラベルを含む、として示されるクエリセットもあります $\mathop L\nolimits^i \in \mathop R\nolimits^{M\times 1}$ 。

N 方向 K ショットポイントクラウドセマンティックセグメンテーションの目標: S ベースのポイントクラウドについて、ラベル分布を予測する $\mathop P\nolimits_q$ モデルを学習します。 $\mathop f\nolimits_\Phi(\mathop P\nolimits_q ,s)$ $H \in \mathop R\nolimits^{M \times (N + 1)}$

どこでの最適なパラメータ $\mathop \Phi \nolimits^*$ です。一連のトレーニングカテゴリからサンプリングされたすべてのエピソードを含む、トレーニングセットを表します。損失関数を示します (3.2.4 で定義されます)。 $\mathop f\nolimits_\Phi(\mathop P\nolimits_q ,s)$ $\mathop T\nolimits_{train}$ $\mathop C\nolimits_{train}$ $J( \cdot )$

3.2 注意に基づくマルチプロトタイプ変換推論

上の図は、この論文における注意ベースのマルチプロトタイプ変換推論です。次の 5 つの要素が含まれています。

埋め込みネットワーク: サポート点群とクエリ点群の識別機能を学ぶ
複数のプロトタイプ生成: すべての N+1 カテゴリ (N セマンティックカテゴリと 1 つの背景カテゴリ) に対して複数のプロトタイプを生成します。
k-NN グラフの構築: コレクション (サポート-クエリ) とコレクション (サポート-サポート、クエリ-クエリ) の間の関係を埋め込み空間にエンコードします。
ラベルの伝播: ラベルのないクエリポイントによって生成された高密度領域に沿って、グラフ全体にラベルを広げます。
cross-entropy loss 関数: すべてのクエリポイントの予測ラベルと実際のラベルの間の損失を計算します

3.2.1 埋め込みネットワーク

このネットワークは、このモデルの最も重要な部分です。これは、マルチプロトタイプの生成と k-NN グラフの構築の両方が、学習された埋め込み空間に依存するためです。スペースには、次の特性が必要です。

ローカルコンテキストに基づくエンコードポイントの幾何学的構造
グローバルコンテキストに基づくコードポイントの意味情報と意味相関
さまざまな数ショットのタスクにすばやく適応できます

著者は、3 レベルの特徴 (ローカル幾何学的特徴、グローバルセマンティック特徴、メトリック適応特徴) を学習するために、注意ベースのマルチレベル特徴学習ネットワークを設計しました。特に、埋め込みネットワークは、特徴抽出器、注意学習器、メトリック学習器の 3 つのモジュールで構成されています。

この論文では、動的グラフ CNN 構造を持つ DGCNN を特徴抽出器のバックボーンとして使用して、局所的な幾何学的特徴 (最初の EdgeConv レイヤーの出力) と意味的特徴 (特徴抽出器の出力) を生成します。

グローバルコンテキストにおける点の意味的関連性をさらに調査するために、著者は、生成された意味的特徴に対して自己注意ネットワーク (SAN) を使用します。SAN は、ポイントフィーチャを、対応するポイントクラウドのグローバルコンテキスト情報に柔軟かつ適応的な方法で集約します。下の図は、SAN の構造です。

著者はまた、メトリック学習器を紹介します。これは、埋め込み空間をさまざまな少数ショットタスクにより速く適応させることができる、多くの多層パーセプトロン層です。メトリック学習器は、すべてのサポートおよびクエリセットポイントの特徴を多様体空間にマッピングします。このマニホールド空間では、一般的な距離関数 (ユークリッド距離やコサイン距離など) をメトリックポイントの性別の類似性に直接使用できます。

最後に、3 つの層によって学習された特徴が、埋め込みネットワークの出力として連結されます。

3.2.2 マルチプロトタイプ生成

サポートセット内の N+1 カテゴリのそれぞれについて、複雑なデータ分布をモデル化するために、エピソード内の少数のラベル付きサンプルから n 個のプロトタイプが生成されます。著者は、生成プロセスをクラスタリングの問題と見なしています。サポートポイントを複数のプロトタイプに集約する方法は多数ありますが、このホワイトペーパーでは、学習した埋め込み空間、サンプリングシードポイント、およびポイントからシードへの割り当てに基づいて、最も単純な戦略を選択します。特に、埋込み空間に基づいて、最遠点サンプリング法を使用して、サポートポイントのカテゴリから n 個の点をシード点としてサンプリングします。直観的に、埋め込み空間が十分に学習されている場合、この空間の最も遠い点はカテゴリのさまざまな側面を表すことができます。 $\mathop {\{ \mathop s\nolimits_i^c \} }\nolimits_{i = 1}^n ,\mathop {\{ \mathop f\nolimits_i^c \} }\nolimits_{i = 1}^{\検索 m\nolimits^c } ,\search {(\{ \search s\nolimits_i^c \} }\nolimits_{i = 1}^n \subset \search {\{ \search f\nolimits_i^c \} } ; \nolimits_{i = 1}^{\mathop m\nolimits^c } )$ サンプリングされたシードとカテゴリ c に属するすべてのサポートポイントをそれぞれ表すとします ${\mahop m\nolimits^c}$ 。作成者は、ポイントからシードまでの距離を計算し、各ポイントに最も近いシードのインデックスをポイントに割り当てます。クラス c のマルチプロトタイプ表現は次のとおりです。

その中で、 $\top {\{ \top f\nolimits_i^c \} }\nolimits_{i = 1}^{\top m\nolimits^c }$ n 個のセットに分けられます $\mathop I\nolimits^{c*} = \{ \mathop I\nolimits_1^{c*} , \ldots ,\mathop I\nolimits_n^{c*} \}$ 。ポイントは $\mathop f\nolimits_j^c \in \mathop I\nolimits_i^{c*}$ シードに割り当てられます ${\mathop s\nolimits_i^c }$ 。

3.2.3 伝達的推論

著者は、変換ラベル伝搬を使用してグラフを作成し、次にグラフ内でラベルをランダムに伝搬します。

k-NN グラフの構築。有効性を計算するために、著者は全結合グラフの代わりに k 最近傍 (NN) グラフを使用します。特に、 $n \回 (N + 1)$ 複数のプロトタイプと $T \times M$ クエリポイントがグラフのノードとして使用され、グラフのサイズは $n \times (N + 1) + T \times M$ . 埋め込み空間の各ノードとその k 個の最近傍ノード間のガウス類似度を計算することにより、作成者は疎な関係行列を構築します $A \in \mathop R\nolimits^{V \times V}$ 。

その中で、 $\mathop v\nolimits_i$ ノードの特性を表し、 $\mathop \sigma \nolimits^2$ 2 つのノード間の距離の分散を表します。 $W = A + \top A\nolimits^T$ 、行列が非負対称であることを保証します。標準化された W が取得されます $S = \top D\nolimits^{ - 1/2} W\top D\nolimits^{ - 1/2}$ 。ここで、D は、対角上の値が W の対応する行の値の合計である対角行列です。さらに、ラベルマトリックスを定義します $Y\in\mathop R\nolimits^{V\times(N+1)}$ 。ここで、ラベル付きプロトタイプに対応する行はワンホットリアルラベルであり、残りは 0 です。

ラベルの広がり。S と Y が与えられると、ラベル伝搬は、次の式に基づいてグラフ内のラベルを繰り返し拡散します。

ここで、は $\mathop Z\nolimits_t \in \mathop R\nolimits^{V\times(N+1)}$ 反復 t で予測されたラベル分布を示します。 $\alpha \in (0,1)$ 隣接ノードと元のラベルから渡される情報の量を制御するパラメーターです。シーケンスは閉形式の結果に収束します。

3.2.4 損失関数

決定されると $\mathop Z\nolimits^*$ 、として示される T 個のクエリ点群に対応する予測が最初に取得されます $\top {\{ \top z\nolimit^i \} }\nolimit_{i = 1}^T$ 。次に、softmax で正規化します。

最後に、クロスエントロピー損失を $\top {\{ \top H\nolimit^i \} }\nolimit_{i = 1}^T$ 実数ラベルで計算します。 $\object {\{ \object L\nolimit^i \} }\nolimit_{i = 1}^T$

$\ファイ$ モデルのパラメータはどこにありますか $\mathop f\nolimits_\Phi(\mathop P\nolimits_q ,s)$ 。より正確には、組み込みネットワークとマルチプロトタイプ生成および伝達的推論操作 $\mathop f\nolimits_\Phi(\mathop P\nolimits_q ,s) = h(\mathop g\nolimits_\Phi(\mathop P\nolimits_q ,\mathop P\nolimits_s ),M);$ の複合機能です。 $\top g\nolimits_\Phi(\cdot)$ $h( \cdot )$

4.実験

4.1 データセットとセットアップ

データセット。S3DIS、ScanNet の 2 つのデータセットで評価。

セットアップ。各データセットは、カテゴリ名の頭文字に基づいて 2 つのサブセットに分割されました。2 つのサブセットで相互検証を使用する方法: 1 つはトレーニングセットとして、もう 1 つは検証セットとして。元の部屋のポイントの数が非常に多いため、1m*1m のスライディングウィンドウを使用して、部屋を xy 平面上の重複しない小さなブロックに分割し、各小さなブロックで M=2048 ポイントをランダムにサンプリングします。

4.2 実装の詳細

4.3 ベースライン

この記事では、比較のために 4 つのベースラインを設定します。

微調整 (FT)。事前トレーニング済みのセグメンテーションネットワークをベースラインのバックボーンとして使用します。サポートセットからサンプリングして微調整し、クエリセットでテストします。過剰適合を避けるために、最後の 3 つの MLP レイヤーのみを微調整します。

プロトタイプネットワーク (ProtoNet)。全体は、この論文で使用されている埋め込みネットワークと同じですが、違いは、SAN が線形マップに置き換えられていることと、各カテゴリに 1 つのプロトタイプしかないことです。

プロトタイプネットワーク (AttProtoNet) に注目してください。この記事で使用する埋め込みネットワークと同じです。

複数プロトタイプ変換推論 (MPTI)。全体は、この論文で使用されているネットワークと同じですが、違いは、SAN が線形マップに置き換えられていることです。

4.4 結果と分析

使用されるメトリクス: 平均 Interaction over Union (平均 IoU)。

ベースラインとの比較。この論文は、より良いパフォーマンスを得るために研究しています。

多層機能によるアブレーション実験。

上の図は、さまざまな機能がパフォーマンスにどのように寄与するかを示しています。明らかに、グローバルセマンティックフィーチャとメトリック適応フィーチャは、ローカルジオメトリックフィーチャよりもパフォーマンスに大きな影響を与えます。

ハイパーパラメータの効果。

上の図に示すように、各カテゴリのプロトタイプの数 n を増やすとパフォーマンスが向上しますが、プロトタイプが多すぎるとオーバーフィッティングによりパフォーマンスに影響します。

k は kNN グラフの作成に使用され、最適な k は 200 です。

3 番目のパラメーターはガウス類似度であり、関係マトリックスの構築に使用されます。異なるデータセットには異なる最適値があります。

4.5 定量結果

上の図は、この論文の方法と、データセット S3DIS の 2 方向 1 ショットポイントクラウドセマンティックセグメンテーションタスクのリアルラベルおよび ProtoNet の結果との比較です。凡例は上部にあり、さまざまな色がさまざまなオブジェクトに対応しています。

上の図は、データセット ScanNet、2-way 1-shot ポイントクラウドセマンティックセグメンテーションタスク、この論文の方法と実際のラベルおよび ProtoNet での結果との比較です。凡例は上部にあり、さまざまな色がさまざまなオブジェクトに対応しています。

5. 参考

Zhao, N., Chua, TS, & Lee, GH (2021). 少数ショットの 3D 点群セマンティックセグメンテーション。IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 8873-8882)の議事録。

少数ショット 3D 点群 (Point Cloud) セマンティックセグメンテーション (Semantic Segmentation)

少数ショット 3D ポイントクラウドセマンティックセグメンテーション

公式アカウント：EDPJ

0. まとめ

0.1 キーワードと用語の説明

1 はじめに

2. 関連作品

3. 方法論

3.1 問題定義