著者: 宋秀栄、泉学鎮、張潔、趙荘

出典：地理空間情報

編集者: Zheng Xinxin @一点Artificial Intelligence

オリジナル:ローカル機能とグローバル機能を組み合わせた点群のセマンティックセグメンテーションのための畳み込みネットワーク

00まとめ

点群セマンティックセグメンテーションは、多くの点群関連アプリケーション、特に航空機レーザー点群の場合に重要な役割を果たしており、正確なアノテーションによりさまざまなアプリケーションでの有用性が大幅に拡張されます。ただし、正確かつ効率的なセマンティックセグメンテーションは、センサーノイズ、複雑なオブジェクト構造、不完全なポイント、不均一なポイント密度によって制限される依然として困難なタスクです。したがって、ローカルとグローバルの特徴を組み合わせた航空機レーザー点群セマンティックセグメンテーションネットワークが提案されます。

まず、改良された漸進的三角測量不規則ネットワーク高密度化フィルタリングアルゴリズムを使用して、点群を地上点と非地上点に分割し、次に非地上点の局所的特徴と大域的特徴を抽出し、次に局所的特徴と大域的特徴を抽出します。特徴が集約されてポイントラベリング結果が得られ、最後にグラフ最適化モデルに基づいてセマンティックラベルが最適化されます。

この方法のパフォーマンスを評価するために、大規模な航空機搭載レーザー点群データセットに対してテスト実験が実行されます。結果は、提案された方法が DALES ベンチマークデータセットで全体の精度を 97.4% に向上させ、78.2% の mIoU で 8 つのセマンティッククラスを分類できることを示しています。この方法は、他の最先端の方法よりも高いセグメンテーション精度を実現します。

01 はじめに

3Dレーザースキャニングシステムは、地球観測システムにおけるデータ収集のための最も重要な技術の1つであり、大規模かつ高精度の地盤情報を迅速に取得できる利点があり、さまざまな地理情報製品（都市計画、都市計画、環境モニタリングや電力線検出など）が生産においてますます重要な役割を果たしています。航空機搭載 3D レーザースキャンシステムで都市をスキャンすることにより、座標と幾何学的特性 (強度など) を備えた大規模な 3D レーザー点群を直接取得できます。点群からさまざまな種類の地理情報を抽出するには、まず点群のセマンティックセグメンテーションが必要です。

ただし、正確かつ効率的な点群セマンティックセグメンテーションは、センサーノイズ、複雑なオブジェクト構造、不完全な点、不均一な点密度のため、依然として困難なタスクです。

初期の航空機レーザー点群分類問題は、主に機械学習手法によって解決されました。通常、点群分類タスクは、ローカルおよびグローバルに代表的な点フィーチャを抽出し、学習したフィーチャ表現を使用して各点を事前定義された意味カテゴリに分類することです。これらの方法では、最初に幾何学的特徴を計算し、次に特定の分類器を使用してさまざまな意味論的特徴を最大限に区別し、ポイントごとのセマンティックセグメンテーションを実現します。ただし、元の点群の特徴計算能力は限られており、次の点群に大きく依存します。特定の事前情報やルール各ポイントの局所的な特徴は、隣接するポイント間のラベルの一貫性を考慮せずに個別に推定され、ラベル予測が生成されるため、セマンティックセグメンテーションの結果はノイズやラベルの不一致の影響を受けやすくなります。

一部の研究では、マルコフ乱数場や条件付乱数場などの最適化モデルを通じてコンテキスト情報を統合し、ラベルの平滑性を高めてパフォーマンスを向上させようと試みていますが、これらの機械学習ベースの点群分類方法では、手作りの特徴を包括的に使用して入力点群を表現しています。の各点は、大規模な実際のシナリオに適用すると、一般化が制限されます。

近年、深層学習手法は、シーン分類、物体検出、変化検出、ハイパースペクトル画像分類などの用途で目覚ましい成功を収めています。

この傾向を受けて、研究者は、3D 点群のセマンティックセグメンテーションの問題を解決するために、いくつかの深層学習モデルをサンプリングすることに注目しています。たとえば、畳み込みニューラルネットワーク (CNN) の能力を活用するために、一部の方法では、生の点群を 2D 画像に投影し、オンボード点群分類に従来の CNN を使用しますが、多くの場合、2D 特徴を拡張するために手作りの特徴が必要になります。 3D から 2D への変換中の情報損失により、分類パフォーマンスは制限されます。無秩序な点群を規則的な 3D グリッドにボクセル化する方法は、ディープニューラルネットワークに適応するために点群を処理するための代替方法です。たとえば、Schmohl S は最初に ALS 点群をボクセル化し、次にそれらを部分多様体スパース畳み込みネットワークに入れて処理します。ただし、ボクセル化では情報損失が避けられず、アーティファクトが生成され、3D 特徴の学習に悪影響を及ぼします。また、ボクセル構造に多数の空いているメッシュが保存されていると、メモリ要件が高くなります。

また、一部の研究者は、畳み込み演算子を元の点群に直接適用し、ディープニューラルネットワークを使用して高度な点の特徴を学習しようとしています (Yousefhussien M らは、点の元の座標を入力する完全な畳み込みネットワークを提案しました)位置の地理参照画像から抽出された 3 つの追加のスペクトル特徴は、点ごとの分類の入力として使用されます; WANG S らは、より強力な特徴学習を実現し、さらに改善するためにマルチスケールのディープニューラルネットワークを開発しました。点群分類のパフォーマンス。これらの方法では、最初に共有 MLP ネットワークを利用してポイントごとの特徴を抽出し、次にダウンサンプリングブロックを利用してポイントごとの特徴をクラスターベースの特徴に集約し、最後に別の MLP ネットワークを利用し、その後にソフトマックス分類器を利用して点ごとの分類を行います。WEN C らは、点特徴抽出のための方向制約付き畳み込み演算子を提案し、点群分類のためのマルチスケール完全畳み込みネットワークを設計し、Arief HA らは、元の PointCNN モデルを強化し、有益な機能を開発するための Atrous XCRF モジュールを開発しました。航空機 LiDAR 点群分類のパフォーマンス。

林業の分野では、WANG YJ らが、KNN 検索に基づく 3D 点群セマンティックセグメンテーション手法を提案しました。これにより、局所的な点群特徴の抽出における既存の方法の欠点が改善され、セマンティックセグメンテーションの精度が効果的に向上しました。これらの点群ベースの方法は、航空機レーザー点群分類において優れた結果を達成しますが、点群データの密度分布が不均一であるため、きめの細かい局所構造を適切に識別することはできません。この問題を解決するために、LI X らは、密度を意識した畳み込みを使用して各ポイントの逆密度を別の MLP ネットワークに供給してさらに強化し、コンテキストエンコーディングモジュールの正規化器を使用してグローバルセマンティックコンテキストを正規化します。

点群に固有のトポロジ情報を考慮して、研究者らは過去 2 年間、非順序 3D 点群分類にグラフ畳み込みニューラルネットワークを使用してきました。グラフィカルモデルは 3D シーンを自然に表現でき、グラフ構造のデータは新しく設計されたネットワークに埋め込まれます。Liang Zhenming らは、マルチスケールのダイナミックグラフ畳み込みネットワークを提案しました。まず、モデルの計算の複雑さを軽減するために、3D 点群データセットの代表点が最遠点サンプリング法を使用してサンプリングされました。K 近傍ノードは、図中の各中心ノードを位置決めし、最後に中心ノードとその隣接ノードの局所属性特徴をエッジ畳み込み演算により抽出・集約して点群分類を実現する。

点間のグローバルな文脈関係を考慮するために、WEN C et al. は、航空機レーザー点群分類用のグローバルローカルグラフアテンション畳み込みニューラルネットワークを提案しています。このネットワークは、限界注意および密度注意のローカル注意モジュールと、グローバル注意モジュールを組み合わせています。ローカルエッジアテンションモジュールは、隣接する点の空間的位置関係に従ってコンボリューション重みを動的に学習し、コンボリューションカーネルの受容野は点群の構造に動的に適応でき、ローカル密度アテンションモジュールは、不均一な密度分布を解決します。 -均一にサンプリングされた点群データの質問。

点群のグローバルコンテキスト情報をより適切に取得するために、2 点ごとにユークリッド距離を計算することでグローバルアテンションモジュールが実装され、MLP ネットワークを使用してアテンションの重みを学習します。最近、アテンションメカニズムは、パラメータの重要度スコアを提供するため、識別機能の改善とノイズの抑制に役立つため、ますます人気が高まっています。HUANG R et al. は、長距離の空間関係とチャネル関係の重要性を研究し、まず、局所的な空間差分注意畳み込みモジュールを使用して、局所的な幾何学的記述と局所的な依存関係を学習し、次に、空間関係を意識した注意モジュールとチャネル関係を研究しました。構成されたグローバル関係認識モジュールは、この 2 つの間のグローバルな空間およびチャネル方向の関係をさらに理解します。

02 研究方法

この論文の方法は主に 4 つのモジュールで構成されます (図 1): ①基底点抽出、改良された漸進的三角測量と不規則ネットワーク高密度化フィルターアルゴリズムを通じて点群を基底点と非基底点に分割する; ②局所特徴抽出; ③グローバル特徴抽出；④ラベルの絞り込み。グラフ構造最適化アルゴリズムは、重み付けされた間接グラフを構築し、グラフカットを使用して最適化問題を解決することにより、初期のセマンティックラベリング結果の空間平滑化を実現するために実装されています。

図1 本稿における航空機レーザー点群のセマンティックセグメンテーションフレームワークの模式図

2.1 接地点抽出

航空 LIDAR システムのスキャン方法と高いレーザーパルス繰り返し率により、地上点がシーン全体の大部分を占めます。地上点の数が多いと、非地上物体を抽出するための探索範囲が広がるだけでなく、空間の複雑さが増し、処理速度が低下します。したがって、地上点と非地上点を区別することは、生データを処理するための予備的ですが重要なステップです。処理するデータ量を削減し、大規模なシーンでの地形変動を考慮するために、この論文では、改良された漸進的不規則三角測量密フィルタリングアルゴリズムを採用しています。このアルゴリズムは、さまざまなポイント、特に複雑な構造を持つ領域から地上点群シーンを迅速かつ効率的に削除できます。地上と地上目標点の分離効果を図 2 に示します。

2.2 局所領域に基づく点特徴抽出

PointNet とその派生アルゴリズムは、複雑な都市シーンで効率的に大規模な空中点群分類を行うのが困難です。ネットワークのトレーニングと推論では、分割とサンプリングのプロセスは避けられません。ただし、このプロセスではアーチファクトが発生する可能性があり、小さな物体は小さな断片に切断されますが、このプロセスでは小さな断片を識別するのに十分な情報が提供されません。

さまざまなスケールのオブジェクトを処理するネットワークの能力を向上させるために、このペーパーでは、階層データ拡張手法を通じて複雑な 3D データを処理する PointNet++ の能力を強化します。階層的サンプリング戦略は、オブジェクトの完全性ときめ細かい詳細に対するトレードオフソリューションを提供します。つまり、最初のトレーニングフェーズでは、トレーニングに使用される点群全体と各サブディビジョンのスケールに対して 3 ラウンドのサブディビジョンが繰り返されます。点セットは、固定数の点で表されます。つまり、点群を非分割に分割するために、分割の各ラウンドでは異なるスケールを使用してサブ点セットのサイズを制限します。事前定義された固定数のポイントでサブポイントセットをオーバーラップします。 3 ラウンドの細分割の後、シーン全体が異なるスケールのサブポイントセットで表示され、ダウンサンプリングステップの後、すべてのサブポイントセットが入力が一貫した方法で提供されることを保証するためのネットワークであり、これにより、学習済みネットワークを処理範囲内に収めることができます。オブジェクトの範囲が広い場合に、より強力な汎化能力を持ちます。その後、同じサブディビジョンとダウンサンプリング処理をオブジェクトに対して実行します。テストに使用される点群。トレーニングプロセスとテストプロセスの違いは、異なるスケールの細分点セットが一緒にネットワークに入力されないことです。各スケールでサブポイントを入力して深い特徴を取得し、元の点群内の点を補間します深さの特徴ベクトルを取得するためのネットワーク入力には含まれないため、異なるスケールのすべての細分化されたポイントに、異なるレベルを含む細分を割り当てることができますコンテキスト情報の深さの特徴ベクトル、最終的に、異なるスケールの深さの特徴を連結して形成することができますマルチスケール深度特徴ベクトル。

2.3 グローバル情報の埋め込み

各畳み込み層にはローカル受容野が 1 つだけあり、点単位の特徴はローカル領域外の情報やオブジェクト間の関係をエンコードできないため、点単位の特徴はローカル幾何学を表すだけであり、内部構造やオブジェクトを探索するには十分ではありません。大きなオブジェクト間の相互作用。グローバルコンテキストが欠如しているため、ALS 点群の屋外シーンに対する点単位の予測ネットワークのパフォーマンスが制限されます。パフォーマンスを向上させるには、グローバルな観点から、オブジェクトレベルの空間依存関係を利用し、ローカルな幾何学的特徴と組み合わせる必要があります。この論文は、スーパーポイントグラフにインスピレーションを得て、幾何学的に均一な点で構成されるセグメント上にグラフを構築して、オブジェクト間の関係を捉えます。セグメント特徴とポイントごとの特徴を組み合わせることで、ネットワークはローカル-グローバル特徴を適応的にエンコードし、ALS データセットでより適切な意味予測を実現します。

まず、点群は、トレーニング前に教師なしアルゴリズムによって、事前定義された幾何学的特徴と強度に基づいてブロックに分割されます。更新された特徴に基づいてトレーニング中にポイントを動的にクラスター化するニューラルネットワークとは異なり、このネットワークは固定グラフ構造を採用し、すべてのセグメントラベルは最初のセグメンテーションから継承されます。この固定構造は、トレーニング反復ごとに高次元特徴空間で KNN 近傍を検索しないため、計算効率が高くなります。次に、取得された点ごとの特徴は、セグメントラベルに従ってノード特徴に集約されます $M \in R^{N_s \times C_3}$ 。ここで、 $N_s$ はシーン内のセグメントの数です。点群チャンク内では、ノードフィーチャはすべてのチャンクにわたるポイントフィーチャの平均として計算されます。ノードごとに $\{s_{ij}| j<(N_s-1)\}$ 、シーン内の他のすべてのノードを含むグラフを構築します。中央ノード $s_i$ の特徴は $m_i \in R^{C_3}$ で示され、 $S_{ij}$ 中央ノードの特徴は $m_i \in R^{C_3}$ で示され、エッジ特徴は $e_{ij}=m_i-m_{ij}$ で示されます。異なるセグメント間のコンテキスト情報は、エッジ条件付き畳み込みによってキャプチャされ、ソフトマックスによって正規化されて、グローバルアテンションマップが取得されます $\mathcal{W} \in R^{N}$ 。最後に、PointNet++ からインスピレーションを得て、エンコーダ/デコーダは、ローカル特徴とグローバル特徴を融合する前述の畳み込みモジュールに基づいてエンドツーエンド方式で開発され、元の特徴と同じ番号を含むマルチレベル特徴ジオメトリを供給します。点セットを 1×1 畳み込みに組み込んで、各点の意味ラベルを取得します。

2.4 グローバルグラフの最適化

分類結果には一貫性が欠けており、結果を最適化するにはより多くのコンテキスト情報を考慮する必要があります。この論文では、点群の最適な分類ラベル構成の解は、マルコフ確率場 (MRF) の最大事後確率として形式化されます。

レート推定問題は、エネルギー関数の最小化として表現されます。つまり、次のようになります。

その中には、 $E_{日付}(L)$ ラベルと元のデータの差を測定するために使用される 1 次データ項目と、 $E_{スムーズ}(L)$ 主にローカル近傍でのラベルの不一致をローカルなデータに基づいて記述する 2 次スムージング項目があります。コンテキスト情報。1 $\ラムダ$ 次エネルギー項目と 2 次エネルギー項目間の重み係数です。

既存の手法では、特定の数学モデルを直接使用して MRF モデル問題を表現および最適化することができないため、確率分布問題をエネルギー関数に変換し、エネルギー関数を最小化することで点群分類の最適解を取得します。反復条件付きモデルやシミュレーテッドアニーリングなどのほとんどの手法は、解の品質の点で非常に良好な結果を達成していますが、大規模な点群の場合、より大きな値を使用すると依然として膨大な計算負荷が生じるため、この論文ではグラフカットアルゴリズムを使用して $K$ 、分析エネルギー関数が最小化されます。このメソッドは反復ごとにラベルを変更し、反復数を減らして効率的にエネルギーを最適化した計算を実現します。

エネルギー関数の計算には主に 1 次項と 2 次項が含まれます。一次エネルギー関数は主に、予測値と真の値の間の不一致を測定します。この論文では、エネルギー関数は、局所的に最適な特徴の事後確率推定によって表されます。

隣接関係に従って隣接するエッジの重みを計算し、2 次エネルギー関数を計算します。計算式は次のとおりです。

$\ラムダ$ 最適な係数、つまりデータ項目のバランスをとり、データを平滑化する係数を選択するために、この論文では $\ラムダ$ データセットのラベル付けパフォーマンスへの影響を分析します $あ$ 。 $\ラムダ$ は、それぞれ 0.5、0.75、1.0、1.25、1.5、1.75、2 に設定されます。複数のテストを通じて、最初のラベリング結果は、を変更 $\ラムダ$ することで改善されます。 $\ラムダ$ = 1.5 のとき、分類精度はピークに達します。大きいほど $\ラムダ$ 、使用されるクラスの数に多くのコストが課せられることになりますが、ラベル付き点群の結果が過度に平滑化される可能性があります。一方、小さいほど、 $\ラムダ$ 領域内で使用されるクラスの数に対するペナルティが少なくなり、間違ったラベルの数を効果的に修正できなくなります。高い値; $\ラムダ$ 1.5 に設定するとバランスが取れ、最高の分類精度が得られ、詳細にラベル付けされた結果が約束されます。初期ラベルは $\アルファ展開$ 、主に間違ったカテゴリを周囲の大部分のカテゴリにマージすることによってアルゴリズム的に調整され、それによって局所的な分類の不一致が軽減されます。

03 実験結果と解析

3.1 実験データと評価指標

このペーパーでは、Dayton Annotated LiDAR Earth Scan (DALES) データセットに対する私たちの手法のパフォーマンスを評価します。DALES データセットは、10 平方キロメートルのエリアにまたがる 5 億以上の手作業でラベル付けされた点を含む ALS ベンチマークデータセットであり、現在利用可能な他の注釈付き空中点群データセットよりも 400 倍以上多くの点を含む、最も広範に公開されている ALS データセットです。解像度は他のデータセットの 6 倍で、平均ポイント密度は約 50 ポイント/m2 です。データセットでは、地面、植生、車、トラック、送電線、電柱、フェンス、建物を含む 8 種類のオブジェクトが考慮され、合計 40 のスライスが含まれており、そのうち 29 スライスがトレーニングに使用され、11 スライスがテストに使用されます。各タイルは 0.5 km2 の面積をカバーし、約 1,000 万のポイントが含まれています。DALES データセットは、新しい 3D ディープラーニングアルゴリズムを評価するための、専門家が検証した手作業でラベル付けされた多数のポイントを提供し、現在のアルゴリズムの焦点を航空データに拡張するのに役立ちます。この論文では、この手法の性能を評価するために、交差 (IoU)、全体精度 (OA)、および平均 IoU (mIoU) の 3 つの指標が使用されます。テストデータ全体に対するメソッドのパフォーマンスを評価するために使用されます。

3.2 実験設定

実験用のハードウェア環境は、16 GB の RAM を搭載した 2 台の Nvidia RTX 1080Ti です。ソフトウェア環境はubuntu16.04でCUDA10.2 + CUDNN7.6.5 + Python3.6 + Anaconda3.6 + Pytorch1.0を採用しています。DALES データセットは比較的大きなデータセットであるため、本稿ではそれを分割し、すべてのデータを重複なく 20m×20m のサブブロックに分割します。ネットワークの入力要件を満たすために、各サブブロックのポイントはサイズ 8192 のポイントセットにリサンプリングされます。トレーニング中のバッチサイズは 1000、バッチサイズは 8 に設定され、モデルの初期学習率は 0.02、学習減衰率は 0.9、トレーニング反復数は 500 です。

3.3 実験結果

DALES データセットの点群の一部のセマンティックセグメンテーションの結果を図 3 に示します。図 3a は、各点の標高によって色分けされた元の点群の視覚化です。図 3b は、さまざまなカテゴリのセマンティックセグメンテーションの結果です。さまざまな色で点在していることがわかります。私たちの方法は、大規模な都市の空中点群のセマンティックセグメンテーションでは優れたパフォーマンスを示していますが、依然として路側施設の認識エラーが発生するケースがいくつかあり、そのほとんどは複雑な要素のセグメント化が不十分であることが原因ですシーンや不完全なオブジェクト。

図 3 DALES データセットに基づくセマンティックセグメンテーションの結果の例

KPConv、PointNet++、SPG、ShellNet、Po-intCNN とこの論文の手法の分類結果を表 1 に示します。KPConv アーキテクチャは、DALES データセット上で最も高い OA と mIoU を持ち、より強力な性能を備えていることがわかります。この論文の方法も満足のいく分類結果を達成し、2 位にランクされました; 誤分類された、コントラストの低い 2 つの大きなバッチがあり、その理由の 1 つはブロックサイズの選択である可能性があります。私たちの方法は他のポイントからグローバルに長距離の依存関係を学習する傾向がありますが、接続はブロックサイズの境界ボックス内に限定されます。大規模なデータセットの場合、小さなブロックサイズは小さなオブジェクトのコンテキスト情報を正しく取得するのに十分ですが、大きなオブジェクトの場合、小さなブロックサイズでは重要なコンテキスト情報を提供するには十分ではありません。同時に、ブロックサイズが大きいと、メモリと実行時間が増加します。KPConv アーキテクチャは、境界ボックス内の固定数のポイントの選択に依存しないという点で他のメソッド (スーパーポイントグラフを除く) とは異なります。これがおそらく KP-Conv が DALES データセットでより優れたパフォーマンスを発揮する理由です。

表 1 DALES データセットとさまざまなベースライン手法/% に基づく分類結果の比較注
: 各カテゴリの OA、mIoU、および IoU の最高値は太字でマークされています。

3.4 アブレーション実験

この方法の各モジュールの有効性を評価するために、本論文では 5 つのモデルを比較するアブレーション実験を設計します: ① グローバルおよびローカル特徴のないモデル (グローバルなし、ローカルなし); ② グローバル特徴モジュールがあるが、なしローカル機能モジュールを持つモデル (グローバルあり、ローカルなし)、③ グローバル機能モジュールなし、ローカル機能モジュールありのモデル (グローバルなし、ローカルあり)、④ グローバル機能モジュールとローカル機能モジュールを組み合わせるが、ポストエンドなし-最適化されたモデル (w グローバル、w ローカル、w/o lr); ⑤ 完全なアーキテクチャ (w グローバル、w ローカル、w lr)。5 つのモデルの分類結果を表 2 に示します。各注目モジュールが分類性能をある程度向上させていることがわかります。

表 2 DALES データセット上のモジュールを備えたモデルのパフォーマンス比較注
: 太字のテキストは、最もパフォーマンスの高いモデルを示します。

セマンティックセグメンテーションの結果に対する基点抽出の影響を検証するために、この論文では別のアブレーション実験を設計しました。つまり、基点が分離された点群シーンと基点が分離されていない点群シーンがセマンティックセグメンテーションネットワークに入れられます。実験結果を表 3 に示します。地上点の事前抽出が全体的なセマンティックセグメンテーションの精度を低下させないだけでなく、アルゴリズムの全体的な動作効率を効果的に向上させることを見つけるのは難しくありません。

04 エピローグ

この論文では、非構造化 3D 点群に直接適用される新しい航空レーザー点群セマンティックセグメンテーションネットワークを提案します。このネットワークは、ローカルな構造的特徴とグローバルなコンテキスト情報を別々に考慮し、その有効性は一連の比較実験によって検証されます。私たちの手法は、点群の不均衡な密度分布とすべての点間の空間関係を考慮しながら、点群の局所構造に従って畳み込み重みを動的に学習できます。この論文の方法は、DALES データセット上の他の最先端のモデルと比較され、その結果は、提案されたモデルが最も一般的な点群分類モデルを上回り、次の点で最先端のパフォーマンスを達成していることを示しています。 OAとmIoU。

1. 自動運転における9つのセンサーフュージョンアルゴリズム

2. 記事では、有名なオープンソースシステムの 3D 再構成の使用方法を説明しています。

3. 書籍の推奨 - 「画像ベースの幾何モデリングとメッシュ生成」

5. 書籍の推奨 - 「3D 点群分析: 従来の深層学習および解釈可能な機械学習手法」