来源：专知
本文约6000字，建议阅读5分钟
本文从不同角度回顾并总结了当前基于图神经网络的高光谱图像分类方法。
ハイパースペクトル イメージングは、可視光線、近赤外線、赤外線帯域を含むさまざまな帯域から電磁スペクトル情報を収集および処理できるリモート センシング分野の高度な技術です。ハイパースペクトル イメージング技術はスペクトル情報の微妙な変化を検出できるため、ハイパースペクトル画像分類は、さまざまな種類の地上物体を区別する際に優れた結果を達成しています。近年、ハイパースペクトル画像分類は、都市計画や植生監視などのアプリケーションで多くの研究者の注目を集めています。その主な目的は、画像内の各ピクセルを分類することです。意味のあるカテゴリですが、大量のハイパースペクトル画像データと高い特徴次元により、ピクセルの正確な分類に特定の課題が生じています。ハイパースペクトル画像の空間スペクトル特徴を効果的に抽出する方法は、分類における最も重要な問題の 1 つとなっています。 。
ここ数年、ディープラーニング技術は、その強力な特徴抽出能力を活かしてハイパースペクトル画像分類で好成績を収めてきましたが、その中でもグラフニューラルネットワーク（GNN）に基づく手法は、不規則なデータを扱う能力に優れています。ハイパースペクトル画像分類の新しい研究方向. グラフ ニューラル ネットワークは、グラフ構造データを直接処理できる深層学習モデルです. グラフ ニューラル ネットワーク モデルでは、各グラフ ノードがサンプルを表し、各エッジがサンプルのペア間の関係を表しますグラフ畳み込み演算は、グラフ ノード間で情報を伝播することによってグラフ ノードの表現を学習するため、モデルはグラフ ノード間の複雑な関係をキャプチャし、ノード分類やリンク予測タスクなどの機能を実装できます。グラフ ニューラル ネットワークは、畳み込み中に画像の空間スペクトル特徴を抽出することができます。その中で、各ノードはピクセルまたは領域に対応し、ピクセルまたは領域間の関係はエッジで表されます。この論文は、グラフニューラルネットワークに基づくハイパースペクトル画像分類法の現在の研究内容と進歩について、グラフニューラルネットワークの構成、グラフ畳み込み型、モデルアーキテクチャ、最適化戦略の4つの観点から紹介し、この分野を紹介します。レベル比較分析. グラフニューラルネットワークに基づくハイパースペクトル画像分類法では, グラフ構造の構築は非常に重要なタスクである. 現在, ハイパースペクトルデータに基づくマッピング法は主にピクセルベースと領域ベースの2つがあるピクセルベースのマッピング方法では、各ピクセルをグラフ ノードとみなし、グラフ構造を構築する最も直接的な方法でもあります。その中で、グラフ ノードの各ペア間の重みは、事前に計算または学習することができます。ピクセルベースのマッピング方法の複雑さを考慮して、研究者は領域ベースのマッピング方法を開発しました. このタイプの方法は、画像領域をグラフノードとして使用し、画像分類におけるハイパースペクトルで広く使用されています領域ベースのマッピング法は,グラフ構造のサイズを効果的に縮小し,効率的なグラフ畳み込み演算を達成することができる.また,グラフ畳み込みタイプの選択も,グラフニューラルネットワークに基づくハイパースペクトル画像分類の1つである。重要な質問。
現在のグラフ畳み込み演算には、主にスペクトル領域に基づくグラフ畳み込みと空間領域に基づくグラフ畳み込みの 2 種類があり、スペクトル領域に基づくグラフ畳み込みでは、グラフ信号処理の観点からフィルターが導入されており、通常は相対的に強固な数学的基礎があり、ハイパースペクトル画像分類に広く使用されています。スペクトル ドメイン ベースの方法とは異なり、空間ドメイン ベースのグラフ畳み込みは、加重平均関数を利用して各グラフ ノードの近傍を直接畳み込みます。したがって、空間ドメイン ベースのグラフ畳み込みは、通常、より強い柔軟性と汎用性を示します。グラフ ニューラル ネットワークに基づくハイパースペクトル画像分類では、モデル アーキテクチャの選択も重要です。現在、モデル アーキテクチャには主にシングル タイプとハイブリッド タイプの 2 つのタイプがあります。シングル タイプ アーキテクチャに基づく手法では、単一タイプのみが使用されます。グラフ ニューラル ネットワーク (つまり、グラフ ニューラル ネットワーク)、グラフ ニューラル ネットワークに基づく初期のハイパースペクトル画像分類手法は、主にこのアーキテクチャを採用していますが、グラフ ニューラル ネットワーク モデル自体にはいくつかの固有の欠陥があり、単一タイプのアーキテクチャのパフォーマンスが制限されます。グラフ ニューラル ネットワーク モデルの固有の欠陥を軽減し、ハイパースペクトル画像分類タスクのアルゴリズムのパフォーマンスをさらに向上させるために、研究者はハイブリッド モデル アーキテクチャの探索を開始しました。サブモデルは、ハイパースペクトル イメージ内のさまざまなタイプの空間スペクトル特徴をキャプチャするために使用できます。モデルの最適化戦略の選択も、アルゴリズムのパフォーマンスに大きな影響を与えます。現在、2 つの主要なモデル最適化戦略があります。つまり、フル バッチです。勾配降下法とミニバッチ勾配降下法。フルバッチ勾配降下法では、すべてのサンプルを走査して損失関数を 1 回計算し、各パラメーターに対応する勾配に従ってモデル パラメーターを更新します。この最適化戦略は通常、グラフ ニューラルで使用されます。スペクトル領域に基づくネットワーク モデル ただし、すべてのサンプルが各パラメーターの更新に関与するため、フルバッチ勾配降下法の複雑さは通常、特にピクセルまたはスーパーピクセルの数が多い場合に高くなります。研究者らはモデルの最適化にスモールバッチ勾配降下法を使用することを提案している.その中で,損失は各サブグラフに従って計算できる.各サブグラフのサイズは元のグラフ構造よりもはるかに小さいため,ミニバッチ勾配降下法はグラフ ニューラル ネットワーク モデルはハイパースペクトルで使用されていますが、画像分類タスクではある程度の成果が得られていますが、既存の手法にはまだ改善すべき問題がいくつかあります。近傍のサイズと形状は、画像の異なる領域に応じて変化する可能性があります。既存のグラフ ニューラル ネットワーク ベースの手法では、近傍のサイズと形状が固定されていると仮定することが多く、この仮定は画像のすべての領域に対して最適であるとは限りません。グラフ ニューラル ネットワーク スケーラビリティを実現する一方で、元のデータの整合性が損なわれることは避けられません。しかし、データの整合性を維持することはモデル学習にとって極めて重要であるため、スケーラビリティと高い分類精度を同時に保証できるグラフ ニューラル ネットワーク手法を研究する学者が増えています。 , ノイズの処理も注目に値する問題です. 既存のグラフ ニューラル ネットワーク手法のほとんどはノイズに対して堅牢ではないため、ノイズに強いグラフ ニューラル ネットワーク手法を開発する必要性が強調されています. 一般に、グラフに基づく手法は、ニューラル ネットワークは、ハイパースペクトル画像の空間スペクトル特徴を効果的に抽出できるため、ハイパースペクトル画像分類の分野で大きな可能性を示しています。
この論文では、マップの構築方法、グラフ畳み込みタイプ、モデル アーキテクチャ、最適化戦略など、さまざまな観点からグラフ ニューラル ネットワークに基づく現在のハイパースペクトル画像分類手法をレビューおよび要約し、同時に直面している課題と課題を分析します。ハイパースペクトル画像分類によるグラフ ニューラル ネットワーク アルゴリズムの特徴と、将来の研究の方向性について説明します。グラフ ニューラル ネットワーク手法の継続的な開発により、ハイパースペクトル画像分類は、より高い精度とさまざまな分野での幅広い応用が達成されることが期待されています。
https://www.ejournal.org.cn/CN/10.12263/DZXB.20221295
1 はじめに
ハイパースペクトル イメージングは、リモート センシングの分野における重要な技術です。可視光から近赤外線の波長範囲までの電磁スペクトルを収集できます。地表の同じ領域について、ハイパースペクトル イメージング センサーは通常、数百もの狭いスペクトルを収集できます。ハイパースペクトル画像では、各ピクセルは高次元のベクトルとみなすことができ、ベクトルの各要素は分光反射率に対応します。特定の波長でのスペクトル画像は、その高いスペクトルの違いを区別するのに役立ち、環境科学、農業、鉱業などの多くの分野で広く使用されています [3,4]。ハイパースペクトルリモートセンシング地球観測技術は、ハイパースペクトル画像の高次元特性、バンド間の類似性の高さ、混合ピクセルの存在などにより、常に課題に直面しています。ハイパースペクトル画像では、スペクトル帯域が広く多数あり、帯域間の間隔が狭いため、画像内の膨大なスペクトル情報を直接処理すると膨大な計算量が必要となり、また、隣接する帯域間の相関性が高いため、画像に影響を与える可能性があります。同時に、ハイパースペクトル画像内では、異なるオブジェクトが同じスペクトルを持つ現象や、同じスペクトルが異なるオブジェクトを持つ現象も発生し、ハイパースペクトル データが高度に非線形になる原因となります。統計に基づくこのようなデータを直接扱うことは困難であり、画像分類の難易度がある程度高くなります [7]。それだけでなく、ハイパースペクトル画像の空間解像度が比較的低いため、必然的にいくつかの混合ピクセルが存在します ( (ピクセルにはさまざまな特徴カテゴリが含まれています)、これはハイパースペクトル画像の正確な分類にもいくつかの問題をもたらします [8~10]。 , そしてラベル付けされたトレーニング サンプルの数は通常少ないため、分類子パラメーター推定の精度に影響を与える可能性があります [11]. さまざまな国の学者の努力により、ここ数十年でさまざまなタイプの高品質モデルが登場しました。その中で、初期の手法は主に従来のパターン認識技術を使用して、ハイパースペクトル画像のスペクトル情報に基づいてピクセルを分類します。たとえば、K 近傍分類器は、その理論的かつハイパースペクトル画像分類により広く使用されています [12,13] ]、サポート ベクター マシン理論は、ハイパースペクトル画像分類タスクでも満足のいく結果を達成しました [14~16]。さらに、ロジスティック回帰 [17、18]、スパース表現に基づく分類器 [19、20]、最尤法分類器 [21] などの方法もハイパースペクトル画像の分類に使用され、良好な結果を達成しています。複雑な特徴分布では、スペクトル情報のみを使用して異なるオブジェクト カテゴリを正確に区別することは難しい場合があります[22]。そのため、多くの研究者は、空間情報をハイパースペクトル画像分類法に統合することを検討しています。このような方法は、通常、空間情報に基づくハイパースペクトル画像分類法と呼ばれます。スペクトル結合特徴[23~25]. 例えば、マルコフランダム空港モデルは、ハイパースペクトル画像の空間情報を抽出するためによく使用され、一定の結果を達成しています[26]。ハイパースペクトル画像の空間情報とスペクトル情報は効果的に融合されます[27]。同様に、テクスチャ特徴記述子やガボール フィルタリングなどの技術も、ハイパースペクトル画像の空間スペクトル結合情報を抽出するために使用されます。
ただし、上記の方法のほとんどは空間スペクトル特徴の手動抽出を必要とするため、特徴の品質は専門家の経験に大きく依存します。幸いなことに、深層学習はハイパースペクトル画像の特徴抽出に理想的なソリューションを提供します [32]。深層学習技術は、低レベルの特徴を徐々に集約することにより、抽象的な高レベルの表現を自動的に取得できるため、複雑な特徴エンジニアリングを回避できます [33, 34]。スタックドオートエンコーダを構築することによりハイパースペクトル画像の高度な特徴を取得し、その後、Mou et al. [36] はリカレントニューラルネットワークモデルを使用してハイパースペクトル画像分類の問題を解決しましたが、近年、その中でも畳み込みニューラルネットワークが注目されています。ハイパースペクトル画像分類のための強力なツールの 1 つ [37, 38]. 畳み込みニューラル ネットワークに基づく方法は、かつては分類パフォーマンスの点でサポート ベクター マシンに基づく方法よりも優れていました [39]. たとえば、Makantasis et al Zhang et al. [40] は、畳み込みニューラル ネットワーク モデルを使用してハイパースペクトル画像の空間情報とスペクトル情報を同時にエンコードし、ピクセル分類に多層パーセプトロンを使用しました。同様に、Zhang et al. [41] は、多次元畳み込みニューラル ネットワークを提案しました。さらに、Lee ら [42] は、隣接するピクセル間の空間スペクトル関係を探索することによって最適なコンテキスト情報を取得する新しいコンテキストディープ畳み込みニューラル ネットワーク モデルを設計しました。は比較的理想的な分類性能をある程度達成しましたが、このタイプの方法にはまだいくつかの欠点があります。まず、従来の畳み込みニューラル ネットワーク モデルでは、畳み込みカーネルは規則的な形状の正方形領域にしか適用できません。このタイプのモデルは、ハイパースペクトル画像内の異なる地上物体ブロック間の幾何学的変化を適応的に捉えることができないことがよくあります[43]。同時に、畳み込みニューラル ネットワークが異なる画像ブロックに対して畳み込み演算を実行するとき、対応する畳み込みの重みパラメータはカーネルは固定されています. 畳み込みカーネルの柔軟性の欠如により、この畳み込み手法の使用はカテゴリ境界領域の情報の損失につながる可能性があります. それだけでなく、従来の畳み込みニューラル ネットワーク モデルは長距離の空間関係を直接表現することができませんスペクトル画像内のスペクトルがモデル化されるため、モデルの表現能力がある程度制限されます。ハイパースペクトル画像分類タスクにおける畳み込みニューラル ネットワークの固有の欠陥を考慮して、研究者らは、ハイパースペクトル画像分類に新しいタイプのディープ モデル、つまりグラフ ニューラル ネットワーク (GNN) [44] を使用することを提案しました。グラフ畳み込みニューラル ネットワーク (Graph Convolutional Neural Network、GCNN) [46] は、その強力な学習能力により、グラフ データの分析や処理タスクで大きな成功を収めています [45]。ハイパースペクトル画像分類タスクにおける重要な役割 [47~49]. グラフ畳み込みニューラル ネットワークは主にノード近傍からの情報を集約することによってノード表現を更新します, グラフ畳み込み演算はグラフの近傍構造によって適応的に制御できます. したがって, グラフ畳み込みニューラル ネットワークはネットワークは非ユークリッド構造の不規則なデータに適用できるため、ハイパースペクトル画像の不規則なデータを柔軟に保存できますクラス境界情報さらに、適切なグラフ構造により、グラフ畳み込みニューラル ネットワークは空間関係を直接モデル化できますグラフ畳み込みニューラル ネットワークの上記の利点を利用して、Wan et al. [43] は、マルチスケールの動的グラフ畳み込みネットワークは、複数の空間スケールからハイパースペクトル画像内の空間スペクトル情報をマイニングできるだけではありません。 , しかしまた、元のグラフ情報はトレーニングの進行に応じて継続的に最適化することができ、その結果、より強力なネットワーク表現が得られます。上記の研究に基づいて、Wan et al. [22, 50, 51] はまた、さまざまな改良されたグラフ畳み込みネットワーク構造を設計しました。同時に、Hong らによって提案された「小バッチグラフボリューム」により、分類精度を確保することを前提として、「畳み込み生成ネットワーク」により、グラフ畳み込みグラフの計算量が高いという問題が緩和されます。ある程度のネットワーク。グラフ畳み込みニューラル ネットワークは主にノード近傍からの情報を集約することでノード表現を継続的に更新し、グラフ畳み込み演算はグラフの近傍構造によって適応的に制御できるため、非ユークリッドにも適用できます。リード構造の不規則なデータは、ハイパースペクトル画像の不規則なカテゴリ境界情報を柔軟に保持することができ、さらに、適切なグラフ構造の助けを借りて、グラフ畳み込みニューラル ネットワークは、離れたピクセル間の空間関係を直接モデル化できます。グラフ畳み込みニューラル ネットワークの上記の利点に基づいて、Wan ら [43] は、さまざまな空間スケールからハイパースペクトル画像内の空間スペクトル情報をマイニングできる、マルチスケールの動的グラフ畳み込みネットワークを提案しました。また、トレーニング中に、元のグラフ情報を継続的に最適化することができ、最終的にはより強力なネットワーク表現が生成されます。上記の研究に基づいて、Wan et al. [22, 50, 51] も、さまざまな改良されたグラフ畳み込みネットワーク構造を設計しました。同時に、Hong ら [52] が提案した「スモールバッチグラフ畳み込みネットワーク」は、グラフ畳み込みネットワークの高い計算量の問題を、分類の精度。グラフ畳み込みニューラル ネットワークは主にノード近傍からの情報を集約することでノード表現を継続的に更新し、グラフ畳み込み演算はグラフの近傍構造によって適応的に制御できるため、非ユークリッドにも適用できます。リード構造の不規則なデータは、ハイパースペクトル画像の不規則なカテゴリ境界情報を柔軟に保持することができ、さらに、適切なグラフ構造の助けを借りて、グラフ畳み込みニューラル ネットワークは、離れたピクセル間の空間関係を直接モデル化できます。グラフ畳み込みニューラル ネットワークの上記の利点に基づいて、Wan ら [43] は、さまざまな空間スケールからハイパースペクトル画像内の空間スペクトル情報をマイニングできる、マルチスケールの動的グラフ畳み込みネットワークを提案しました。また、トレーニングが進むにつれて、元のグラフ情報は継続的に最適化され、最終的にはより強力なネットワーク表現が生成されます。上記の研究に基づいて、Wan et al. [22, 50, 51] もまた、さまざまな改良されたグラフ畳み込みネットワークを設計しました。同時に、Hong ら [52] が提案した「小バッチグラフ畳み込みネットワーク」は、グラフ畳み込みネットワークの高い計算量の問題を、分類の精度を確保します。
この論文は主に、近年ハイパースペクトル画像分類の分野で適用されているグラフ ニューラル ネットワーク モデルを体系的に要約して整理し、その主要な概念と限界について詳細な分析を行っています。 , 5] が知られていますが、この種の研究は主に伝統的な深層学習 (畳み込みニューラル ネットワークなど) やパターン認識技術に焦点を当てており、近年注目を集めているグラフ ニューラル ネットワーク モデルに関連する手法はほとんど含まれていません。この論文の目的は、グラフ ニューラル ネットワークに基づくハイパースペクトル画像分類法の包括的な概要を提供し、この分野に興味のある読者が関連研究の最新の進歩を迅速かつ包括的に理解できるようにすることです。グラフ ニューラル ネットワークにおけるグラフ構造の方法、グラフ畳み込みの種類、モデル アーキテクチャとモデル最適化戦略について、グラフ ニューラル ネットワークに基づく既存のハイパースペクトル画像分類方法を整理して要約します。同時に、この論文は一般的に使用されているオープン ソース アルゴリズムを広範囲に収集および分析しています。パフォーマンスの比較と分析により、この記事はさまざまな実用的なアプリケーションを理解し、使用し、開発するための実用的なガイドになっています。最後に、この記事は現在の手法を要約し、その欠点を分析し、将来の研究の方向性について議論します。
2 ハイパースペクトル画像分類分野におけるグラフニューラルネットワークの研究状況
ハイパースペクトル画像分類は通常、ピクセル レベルでの分類タスク、つまり画像内の各ピクセルのオブジェクト カテゴリを確認するタスクを指します。ここ数年、畳み込みニューラル ネットワークに代表される深層学習手法は、優れた空間スペクトル特徴に依存しています。ハイパースペクトル画像分類の分野では、新しい深層学習手法であるグラフ ニューラル ネットワークが登場し始めていますが、畳み込みニューラル ネットワーク モデルとは異なります。不規則な非ユークリッドデータを直接扱うことができ、畳み込み演算が正方形の局所領域に限定されないため、ピクセル間の相関情報をより柔軟に捉えることができます グラフニューラルネットワークには主にグラフ畳み込みニューラルが含まれますネットワーク、リカレント グラフ ニューラル ネットワーク、グラフ セルフ エンコーダー、時空間グラフ ニューラル ネットワークがあります。このうち、グラフ畳み込みニューラル ネットワークは通常、より効率的であり、他のディープ モデルと組み合わせやすいため、現在ハイパースペクトル画像に使用されています。分類のためのモデルは主にグラフ畳み込みニューラル ネットワークです. このセクションではまずグラフ ニューラル ネットワークの 2 つの重要なモジュール (すなわち、グラフ構築モジュールとグラフ畳み込みモジュール) から始まり、現在のハイパースペクトル画像分類方法を整理して要約します。図 2 に示すように、グラフ ニューラル ネットワークに基づくハイパースペクトル画像分類方法では、まずグラフ ニューラル ネットワーク法の基本ステップであるグラフ構造を確立する必要があり、グラフ構造の精度がモデルのパフォーマンスに大きく影響します。このうち、現在の手法は、グラフノードの種類に応じて、オリジナルピクセルをノードとしてグラフを構築する方式と、スーパーピクセルをノードとしてグラフを構築する方式とに大別される。次に, 上記のグラフ構造に基づいて, ハイパースペクトル画像の空間スペクトル特徴を抽出するためのグラフ畳み込み演算. ここで, グラフ畳み込み演算の種類に応じて, 現在の方法は 2 つのカテゴリに分けることができます, すなわち, 空間領域グラフ畳み込みベースおよびスペクトル領域グラフ畳み込みベースの方法 最後に、上で学習した空間スペクトル特徴を使用して、画像分類の結果を予測することができます。
ハイパースペクトル画像分類は通常、ピクセル レベルでの分類タスク、つまり画像内の各ピクセルのオブジェクト カテゴリを確認するタスクを指します。ここ数年、畳み込みニューラル ネットワークに代表される深層学習手法は、優れた空間スペクトル特徴に依存しています。ハイパースペクトル画像分類の分野では、新しい深層学習手法であるグラフ ニューラル ネットワークが登場し始めていますが、畳み込みニューラル ネットワーク モデルとは異なります。不規則な非ユークリッドデータを直接扱うことができ、畳み込み演算が正方形の局所領域に限定されないため、ピクセル間の相関情報をより柔軟に捉えることができます グラフニューラルネットワークには主にグラフ畳み込みニューラルが含まれますネットワーク、リカレント グラフ ニューラル ネットワーク、グラフ セルフ エンコーダー、時空間グラフ ニューラル ネットワークがあります。このうち、グラフ畳み込みニューラル ネットワークは通常、より効率的であり、他のディープ モデルと組み合わせやすいため、現在ハイパースペクトル画像に使用されています。分類のためのモデルは主にグラフ畳み込みニューラル ネットワークです. このセクションではまずグラフ ニューラル ネットワークの 2 つの重要なモジュール (すなわち、グラフ構築モジュールとグラフ畳み込みモジュール) から始まり、現在のハイパースペクトル画像分類方法を整理して要約します。図 2 に示すように、グラフ ニューラル ネットワークに基づくハイパースペクトル画像分類方法では、まずグラフ ニューラル ネットワーク法の基本ステップであるグラフ構造を確立する必要があり、グラフ構造の精度がモデルのパフォーマンスに大きく影響します。このうち、現在の手法は、グラフノードの種類に応じて、オリジナルピクセルをノードとしてグラフを構築する方式と、スーパーピクセルをノードとしてグラフを構築する方式とに大別される。次に, 上記のグラフ構造に基づいて, ハイパースペクトル画像の空間スペクトル特徴を抽出するためのグラフ畳み込み演算. ここで, グラフ畳み込み演算の種類に応じて, 現在の方法は 2 つのカテゴリに分けることができます, すなわち, 空間領域グラフ畳み込みベースおよびスペクトル領域グラフ畳み込みベースの方法 最後に、上記で学習した空間スペクトル特徴を使用して画像分類の結果を予測できます。
さらに,グラフニューラルネットワーク法におけるモデルアーキテクチャと最適化戦略にも注目が集まり,本節では,グラフニューラルネットワークに基づく現在のハイパースペクトル画像分類法を,これら2つの側面から整理して要約する。ネットワークが畳み込みニューラル ネットワークなどの他のディープ モデルと連携するかどうかにかかわらず、現在のハイパースペクトル画像分類手法は、ハイブリッド型とシングル型の 2 つのタイプに大別できます。モデル最適化戦略の選択の観点から、現在のグラフ ニューラル ネットワーク手法はネットワーク モデルのパラメーターは、フルバッチ勾配降下法とミニバッチ勾配降下法という 2 つの異なる方法で更新されることがよくあります。表 2 は、グラフ ニューラル ネットワークに基づく代表的なハイパースペクトル画像分類アルゴリズムを要約し、主な貢献を簡単に紹介します。そしてアルゴリズムの限界。
