著者: Zhang Zuxun、Jiang Huiwei、Pang Shiyan、Hu Xiangyun
論文関連:多時間リモートセンシング画像における変化検出の研究状況と展望 - Zhang Zuxun
1. コンテンツ概要
この記事では主に、幾何学とセマンティクスの 2 つの観点から変更検出手法を分析してまとめます。幾何情報の利用とディープ ニューラル ネットワークの特徴融合手法の分析に焦点を当てます。。セット次に
1.1 変形検出の本質
変化検出問題は依然として本質的にパターン認識と分類の問題です。変化したエリアを見つけて特定し、関連する変化属性を分析します。変化属性には主に土地利用タイプの変化(耕作地から建設用地への変更など) が含まれます。 ** 寸法変化 (** ジオメトリなど。高)。
1.2 リモートセンシング変化検出の主なタスクの種類
- 変化が起こったかどうか。
- 変更の種類（土地利用タイプの変更）。
- 分布と傾向を変更します。
3 つは層ごとに高度になり、検出タスクと難易度は徐々に増加します。
1.3 リモートセンシング変化検出の主なデータソース
-
衛星画像
-
航空写真
-
3D点群データ
1. 幾何情報の変化検出
幾何情報（高さ）の変化検出を利用して、地形情報や地物情報を更新できます。幾何情報の変化検出は、スペクトル情報を組み合わせるか否かにより、単一の幾何情報に基づく変化検出方法と、幾何情報とスペクトル情報を融合した変化検出方法に分けられる。
1.1 単一の幾何情報に基づく変化検出手法
1.1.1 高低差
高低差は通常、規則的なグリッドに補間されたDEM/DSMデータに適用されます。次の 2 つのタイプに分類できます。
-
ピクセルベースの高低差法
-
窓/オブジェクトベースの高低差法
短所: 登録エラーや照合エラーに敏感です。
1.1.2 ユークリッド距離
高さの違いはレジストレーションおよびマッチングのエラーの影響を受けやすく、サーフェス間のユークリッド距離によってそのような欠陥をある程度補正できます。
**欠点:** 通常、集中的な法線方向の推定と対応点の検索が必要となり、複雑で時間がかかります。
注:トップビュー 3D データ処理では、高さの差が依然として最も便利で効果的な方法であり、最初のステップに適しています。
1.2 幾何情報とスペクトル情報を統合した変化検出手法
幾何学情報とスペクトル情報を組み合わせるさまざまな方法に応じて、幾何学情報とスペクトル情報を融合する変化検出には主に次のようなものがあります。
- 精製後
ポストリファインメント法とは、幾何学的な比較によって生成された初期変更結果を、幾何学的情報とスペクトル情報を使用してリファインすることを指します。これは、幾何学的比較によって変更候補を生成し、上記によって得られた初期変更結果を生成するという 2 段階の方法です。幾何比較は幾何情報とスペクトル情報によって処理され、変更結果は事後調整されます。
利点: 比較的柔軟で効果的であり、パラメータは理解しやすく調整しやすいです。
短所: 最初の変更結果は幾何比較の結果に大きく依存し、見逃した検出はその後の改良プロセスで回復できません。
- 直接機能融合
直接特徴融合法は、幾何学的情報とスペクトル情報の両方を考慮し、特徴融合法を通じて最終的な変化検出を実現します。特徴融合は特徴レベルまたは意思決定レベルで行うことができます。
利点: 幾何学的情報とスペクトル情報の両方が考慮され、アルゴリズム フレームワークは変化検出のために他の情報ソースと簡単に組み合わせることができます。
短所: 融合アルゴリズムのパラメータ設定要件は厳しく、パラメータ設定が正しくないと、最終的な変更検出結果にエラーが発生します。
- 分類の後処理
このタイプの方法では、まず 2 つのデータセット内の対象オブジェクトを分類または検出し、次にこれらの結果として得られたラベルを比較して変更検出を実現します。
利点: さまざまなデータ ソースやさまざまな取得条件 (さまざまな季節、照明など) によって引き起こされる干渉に対してより堅牢です。
短所: この種の方法の変化検出結果は、通常、分類精度に大きく影響され、単一期間内の分類誤差が最終的な変化検出結果に蓄積される場合があります。
2. 意味情報の変更検出
現在のリモートセンシング画像の変化検出研究は、研究対象の観点から、特定対象（建物、道路、植生など）のバイナリ変化検出と一般的な変化検出（土地利用や表面被覆率）に分けられます。 2 つ目は、前者は特定の目標に関する研究を対象とし、事前に知識を導入することに相当し、変化した領域を特定するだけでよいのに対し、後者は地表オブジェクトの種類を決定すること、つまり変化の位置と分類のタスクを完了する必要があることです。同時に、前者よりも複雑になるため、これらの方法のほとんどでは、意味情報の変更検出を支援するために専門知識を利用する必要があります。
現在のリモートセンシング画像の変化検出研究は、特徴モデルの観点から人工特徴モデリング手法と深層特徴学習手法に分類できます。前者は、専門知識のルールを使用してターゲット領域の特徴 (多数の低レベルおよび中レベルの特徴) をモデル化して表現し、その後、しきい値分析または機械学習手法を使用して、変更された領域を検出して位置を特定します。後者は人工知能技術に依存し、ディープ ニューラル ネットワークを使用してターゲットのさまざまなレベルの特徴 (高レベルの特徴) を学習し、変化する領域を発見して位置を特定するため、前者よりも簡潔で多用途です。
変化検出解析ユニットは「ピクセル-ブロック-オブジェクト-シーン」から遷移し、ピクセル間の関係は「孤立局所-隣接受容野」を実現し、情報利用層は「ピクセル-特徴-オブジェクト-高」の展開プロセスを実現します。次元」。
2.1. 機械学習以外の方法
2.1.1. ピクセルレベルの変化の検出
画素レベル変化検出は、最も単純な変化検出手法であり、独立した画素を検出単位とし、画素のスペクトル差分を解析し、画素ごとの減算や除算などの算術演算により変化情報を抽出するもので、主に四則演算（画素単位での演算）手法が含まれます。 2枚の画像）を正確に登録した画像は、対応する点のピクセルの濃淡値に対して差分分析、比分析、または回帰分析を実行し、閾値判定を実行します）、画像変換方法（画像を一定のルールに従って特徴空間に変換し、変換結果を分析します）変更ピクセルの取得）や分類後の比較方法など
制限事項: この手法は、高解像度リモートセンシング画像の高周波情報に敏感であり、画像の幾何補正や放射補正誤差の影響を受けやすいため、適用範囲が限られているため、主に中解像度および低解像度の画像に適しています。
2.1.2. 機能レベルの変更の検出
特徴レベルでは、テクスチャ、エッジ、空間構造などの特徴は地上オブジェクトの性能と密接に関連しており、これらの特徴は比較的安定しており、センサーの種類の影響を受けにくいため、多時間画像の特徴情報を比較することができます。変化の検出に使用されます。これには主に、テクスチャ特徴、エッジ特徴、形状構造に基づく変化検出が含まれます。
制限: 機能レベルの変更は、主に機能の選択と設計に依存します。異なるアプリケーション シナリオや異なる画像データでは、統一された機能選択基準やガイダンスを得ることが困難です。汎用性が最大の課題です。
2.1.3. シーンレベルの変化検出
人間の認識メカニズムと同様に、オブジェクト指向の変更検出は、オブジェクトのさまざまなプロパティと空間分布を分析することによってセマンティクスを理解します。豊かなエッジ、テクスチャ、形状、ローカルエリアの近傍ターゲットの空間関係などの関連する機能を統合できます。オブジェクトレベルの変化検出方法には主に、オブジェクトの直接比較、分類後のオブジェクトの比較、多時間セグメンテーションなどが含まれます。
制限事項: オブジェクト指向手法の重要なプロセスとして、画像セグメンテーション技術は、比較のために隣接するピクセルをオブジェクトに集約できるため、セグメンテーション手法の品質は変化検出の精度に直接影響します。
2.2. 機械学習の手法
2.2.1. シーンレベルの変化検出方法
リモートセンシング画像におけるシーンレベルの変化検出方法の基本的な考え方は、多時間画像の特徴の違いを比較し、変化を判断することであり、これは地域レベルの分類タスクです。ここでいうシーンとは、大規模リモートセンシング画像において、明確な意味属性情報表現（商業地、住宅地、運動場などの社会的機能を中心とした）を持つローカルまたはグローバルな画像ブロックを指します。
植生の成長や個々の建物の解体/建設など、シーン内のオブジェクトは土地利用カテゴリーに直接影響を与えないため、つまり、シーン内でのオブジェクトの変更は、地域の土地利用、相対的なピクセル レベルおよびオブジェクト レベルを変更しません。変化検出方法と比較して、土地利用変化分析アプリケーションではシーンレベル変化方法の方が利点があります。
2.2.2. 画素レベルの変化検出方法
深層学習技術に基づくリモートセンシング画像のピクセルレベルの変化検出方法 **初期のアイデア: **最初にニューラルネットワークを使用して画像の深度特徴を抽出し、次に抽出された特徴をピクセルレベルで比較して差分マップを取得します、そして最後に、しきい値選択方法を通じてそれを取得します。ダイアグラムを変更します。
完全畳み込みニューラル ネットワークの開発、特にセマンティック セグメンテーション タスクにおけるピクセルごとの分類パフォーマンスの向上により、多くの学者はピクセルごとの分類にツインニューラル ネットワークを使用して、ピクセルごとに変化が発生したかどうかを判断しています。分類。この種の方法には複数の入力画像が含まれるため、複数の独立した分岐を入力する方法、データ側の結合方法、およびネットワーク内融合方法の3 種類があります。独立分岐法では多時間の特徴相関情報が失われるため、ほとんどの研究は主に後者の 2 つの方法に焦点を当てています。ピクセルレベルの分類方法は、バイナリ分類問題 (変更の有無) を解決することに限定されず、マルチタスク学習を容易にし、複数タイプの予測 (土地利用タイプの変更など) を完了します。
2.2.3. オブジェクトレベルの変更検出方法
リモートセンシング画像の物体レベルの変化検出方法は、画像ブロックまたはスーパーピクセルを基本入力単位として使用し、トレーニングの異なる段階に応じて2つの方法に分けることができます。学習の場合、これは通常、半教師ありまたは教師なしの学習方法です。もう 1 つは、ツイン ニューラル ネットワークを使用してタイルをトレーニングおよび分類する方法です。ツインニューラルネットワークに基づく特徴類似度の計算方法は、コスト関数判定、ネットワーク内部融合、データ側結合の3つの方法に分けられます。
2.3. 変更検出データセット
