リモートセンシング画像に基づく道路抽出論文の簡単な読み

序文

このブログ投稿には、いくつかの珍しい道路抽出方法が含まれています。現在の主流モデルは、路面の抽出に焦点を当てています。つまり、IOUの精度のみに焦点を当てていますが、道路の接続性と整合性についてはほとんど言及していません。

2017年

DeepRoadMapper

自動運転や都市計画などのアプリケーションには、道路地図の抽象化が不可欠です。ほとんどの産業手法は、艦隊の上に設置された高価なセンサーの使用に焦点を合わせています。ループ内でユーザーを使用する場合、これは非常に正確な見積もりにつながります。ただし、これらのソリューションは非常に高価であり、カバレッジはほとんどありません。それどころか、この記事では、航空写真から直接道路トポロジーを推定する方法を提案します。これにより、手頃な価格で広範囲にわたるソリューションが提供されます。この目標を達成するために、最新のディープラーニングを使用して航空画像の初期セグメンテーションを実行します。これに基づいて、抽出された道路トポロジーで接続が欠落している理由を、効果的に解決できる最短経路問題に帰するアルゴリズムを提案します。やりがいのあるTorontoCityデータセットでこの方法の有効性を実証し、最先端のデータセットよりも大幅に改善されていることを示しました。

2018年

RoadTracer

https://github.com/mitroadmaps/roadtracercsdn
ブログ

概要

道路網の描画は現在、費用と労働集約的です。高解像度の航空写真は、道路網を自動的に推測するための有望な方法を提供します。以前の作業では、畳み込みニューラルネットワーク（CNN）を使用して道路に属するピクセルを検出し（セグメンテーション）、複雑な後処理ヒューリスティックを使用してグラフの接続性を推測しました。ノイズの多いCNN出力を修正するのが難しいため、これらのセグメンテーション方法のエラー率が高いことを示します。この論文は、航空画像から正確な道路ネットワークマップを自動的に構築するための新しい方法であるロードトラッカーを提案します。ロードトラッカーは、CNNベースの決定関数によって導かれる反復検索プロセスを使用して、CNNの出力から道路ネットワークマップを直接導出します。私たちの方法を15の都市のセグメンテーション方法と比較したところ、5％のエラー率で、RoadTracerはこれらの都市の交差点の45％以上を正しくキャプチャしたことがわかりました。

論文の寄稿

1）RoadTracer法を提案します。これは、反復グラフ構築法を使用して画像内の道路ネットワークを検出します。各反復では、CNN決定ネットワークを使用して、道路ネットワークの一部を作成済みの道路に追加するかどうかを決定します。通信網。この方法は、複雑な後処理手順を回避できるため、道路ネットワーク検出の精度が向上します
。2）動的ラベリングを使用してCNNネットワークをトレーニングする、つまりトレーニングデータとトレーニングを同時に生成する包括的な強化学習CNN決定ネットワークが提案されます。ネットワークを構築し、CNN決定関数の精度を向上させます。

2019年

RoadNet

コード：https：//github.com/yhlleo/RoadNet

論文の寄稿

• この論文では、マルチタスクピクセルのエンドツーエンドCNN、道路ネットワークを提案して、路面、エッジ、および中心線を同時に予測します。道路ネットワークは、マルチスケールおよびマルチレベルの機能を自動的に学習し、さまざまなシーンやスケールの道路を処理できる特別に設計されたカスケードネットワークで全体としてトレーニングされます。
• 上記のサブタスクは、道路セグメンテーションの予測が道路エッジ検出と道路中心線抽出に適用されるトレーニングフェーズに関連しています。一方では、細かい道路のセグメンテーションは、道路のエッジ検出と道路の中心線の抽出に役立ちます。これは、いくつかの複雑な背景を持つ理想的な初期化と見なすことができます。一方、道路の正確なエッジ/中心線は、セグメンテーション境界、特に道路のエッジを洗練します。
• 提案されたネットワークのアーキテクチャと損失関数は詳細に設計されています。したがって、十分にトレーニングされたモデルは、非最大抑制（NMS）の後処理を必要とせずに、ほぼ1ピクセル幅の道路エッジ/中心線を生成できます。
• 道路上の影やオクルージョンのある困難なエリアを解決するための簡単なユーザーインタラクション方法を提供します。これはこの分野での最初の作業です。
• 限られたGPUリソ​​ースでは全体としてトレーニングやテストができない、大きなVHR画像を処理するためのトリミングとバイリニアハイブリッド手法を開発しました。
• このタイプのマルチタスク用の挑戦的なベンチマークデータセットのセットがリリースされました。これには、画像とそれに対応する参照マップが含まれています。各ピクセルの空間解像度は0.21メートルで、複雑な背景を持つ21の典型的な都市部をカバーしています。

データ形式：

ネットワークアーキテクチャの


結果

RoadTagger

https://github.com/mitroadmaps/roadtaggerの

概要

車線数や道路の種類など、衛星画像から道路の属性を推測することは困難です。一般に、衛星画像のオクルージョンと道路属性の間の空間的相関関係により、道路の遠隔セクションを考慮した場合にのみ、道路属性は道路上の位置で明らかになります。したがって、道路の属性を確実に推測するには、モデルは散乱情報を統合し、ルートに沿った特徴の空間相関をキャプチャする必要があります。画像分類器に依存する既存のソリューションでは、この相関関係をキャプチャできないため、精度が低下します。この失敗は、基本的な制限、つまり画像分類器の有効な受け入れフィールドが限られていることが原因であることがわかりました。

この制限を克服するために、畳み込みニューラルネットワーク（CNN）とグラフニューラルネットワーク（GNN）を組み合わせて道路属性を推測するエンドツーエンドアーキテクチャであるRoadTagger1を提案しました。GNNを使用すると、道路網の地図上に情報を広めることができ、画像分類器の受信フィールドの制限がなくなります。米国の20都市の688平方キロメートルをカバーする大規模な実世界のデータセットでRoadTaggerを評価し、データセットを合成しました。評価では、RoadTaggerはCNN画像分類器に基づいて推論の精度を向上させます。さらに、Road Taggerは衛星画像の干渉に対して強力な堅牢性を備えており、複雑な帰納的ルールを学習して、道路網に散在する情報を収集できます。

方法

畳み込みニューラルネットワーク（CNN）とグラフニューラルネットワーク（GNN）（Wu et al。）の新しい組み合わせを使用してこの障害を排除する、エンドツーエンドの道路属性推論フレームワークであるRoadTaggerを提案します。2019）。衛星画像と道路ネットワークマップを入力として受け取ります。RoadTaggerは、道路ネットワークグラフの各頂点について、CNNを使用して、頂点の周囲の衛星画像ウィンドウから特徴ベクトルを導出します。次に、GNNを使用して、道路網グラフに沿って各頂点から情報を伝播します。最後に、各頂点で道路属性の予測を生成します。道路網マップに沿った情報のGNN配布は、ローカル画像分類器の効果的な知覚フィールド制限を排除します。CNNとGNNの共同モデルのエンドツーエンドのトレーニングは、この方法の成功の鍵です。RoadTaggerは、CNNを使用して特徴を選択しません。代わりに、GNNの出力から逆伝播することにより、前の投稿を制限する情報障壁-処理方法が排除されます。

2020

DeepWindow

https://github.com/rob-lian/DeepWindow/tree/master/ManualPointSampling
イノベーションポイントの論文

• 修復ベースの道路中心推定モデルは、ポイントアノテーションを介して設計およびトレーニングされ、ローカルパッチで道路中心ポイントを予測します。
• 追跡プロセスの自動化を改善するために、道路方向推定アルゴリズムが提案されている。このアルゴリズムは、犬歯のエッジのスペクトルに基づいて道路方向を推定する。
• 追跡プロセスと道路方向推定アルゴリズムを組み合わせて完全自動化を実現する自動シードアルゴリズムを実現します。
• 道路の抽出に使用される、大規模でやりがいのある道路パッチデータセット、手動でサンプリングされた道路の中心点は、弱教師あり学習のさらなる研究に公に使用されます。

メソッドフロー

1. 道路の中心点の抽出
2. シードを自動的に検索して追跡する
3. 道路方向の推定
4. 反復トポロジー追跡

VecRoad

https://mmcheng.net/vecroad/
要約
フィールド収集と比較して、航空写真からの道路地図の自動抽出は、より効率的で低コストです。これは、CNNによって予測された道路セグメンテーションをベクトル化する後処理ステップによって実現できますが、予測が不完全な場合、道路地図の接続性が低下します。一方、反復探索の次のステップでは、道路の接続性が向上した道路地図を作成できますが、通常は地域の情報にのみ焦点を当てており、実際の道路と正確に位置合わせすることはできません。ロードマップと実際の道路との間の正確な位置合わせを維持しながら道路の接続性を改善するために、セグメンテーションの手がかりガイダンスと柔軟なステップを使用するポイントベースの反復マップ探索スキームを提案します。この方法では、次の移動の位置をポイントとして表します。これにより、各ステップの方向やステップ長など、複数の制約の表現が統合されます。道路のセグメンテーションや交差点などの情報の手がかりを共同で検出して、次のステップを導き、より良い道路の線形を実現します。提案した方法は、公共データセットのf測定と道路接続性指標の点で、最先端の道路地図抽出方法よりも大幅に改善されていることを証明します。

革新

• 柔軟なステップ検出テクノロジーを使用したポイントベースの反復ステップ検出方法により、検出プロセス中に重要なポイントを正確に特定できます。
• セグメント化された手がかりの探索ガイダンスに基づいて、優れた接続性と優れた位置合わせ精度を備えたロードマップが生成されます。

方法

反復探索の概要

ポイントベースの反復探索

路面と中心線の同時抽出

https://github.com/astro-ck/Road-Extraction

概要

正確で最新のロードマップは、幅広いアプリケーションで非常に重要です。残念ながら、高解像度のリモートセンシング画像から道路を自動的に抽出することは、樹木や建物の閉塞、道路の識別可能性、および複雑な背景のために、依然として困難です。これらの問題、特に道路の接続性と完全性を解決するために、この論文では、路面と道路の中心線を同時に正確に抽出するためのディープラーニングに基づく新しいマルチレベルフレームワークを紹介します。私たちのフレームワークには、強化されたセグメンテーション、複数の開始点の追跡、融合の3つのステップが含まれています。最初の道路セグメンテーションは完全畳み込みネットワーク（FCN）で実現され、次に別のより軽いFCNが複数回適用されて、最初のセグメンテーションの精度と接続性が向上します。複数の開始点追跡ステップでは、セグメンテーション結果の道路交差点を抽出することによって開始点が自動的に生成され、畳み込みニューラルネットワーク（CNN）に組み込まれた反復検索戦略によって連続的で完全な道路ネットワークが追跡されます。融合ステップでは、セグメンテーションと追跡結果を組み合わせて、最終的で洗練された道路セグメンテーションと中心線マッピングを生成することにより、道路ネットワークのセマンティック情報とトポロジ情報を集約します。世界40以上の都市のさまざまな道路状況をカバーする3つのデータセットを使用して、この方法を評価しました。結果は、提案されたフレームワークが優れたパフォーマンスを持っていることを示しています。具体的には、道路セグメンテーションの接続性インデックスと中心線抽出の整合性インデックスについて、私たちの方法のパフォーマンスは、他の方法のパフォーマンスをそれぞれ7％と40％上回っています。

論文の寄稿

• リモートセンシング画像から路面と中心線を同時に抽出するためのマルチレベルフレームワークが提案されています。このフレームワークは、CNNベースのセグメンテーションとトラッキングの利点を組み合わせ、道路ネットワークのセマンティックおよびトポロジ情報を収集します。私たちが知る限り、これは道路のセグメンテーションと中心線の追跡を同時に行うための最初の統合フレームワークです。
• ブースティング戦略は、複数のセグメンテーションネットワークを適用することで道路セグメンテーションの結果を強化するために導入されました。ネットワークは、以前のセグメンテーションの失敗事例から徐々に学習して、初期マスクの壊れたセグメントを接続します。さらに、セグメンテーションを容易にするために、斬新で軽量なコーデック構造が設計されました。
• CNN決定関数に基づく改良された反復検索アルゴリズムが、複数の交差点から始まる中心線追跡に導入されます。アルゴリズムは、ブーストセグメンテーションによって予測された道路セグメンテーションマップから自動的に導出され、中心線マッピングの自動化と完全性が改善されたことを証明します。
• 最後に、経験的融合法を使用して、前のステップのセグメンテーション結果を中心線マップと融合し、最終的に洗練された路面と中心線を取得します。

Sat2Graph

コード：https：//github.com/songtaohe/Sat2Graph

要約
衛星画像からロードマップを推測することは、コンピュータビジョンの課題です。先験的な解決策は、（1）各ピクセルが道路上にあるかどうかを予測するピクセルベースのセグメンテーション方法と（2）ロードマップを繰り返し予測するグラフベースの方法の2つのカテゴリに分けられます。これらの2つの方法には補完的な利点がありますが、固有の制限もあります。

この記事では、以前の2つのカテゴリの利点を統合されたフレームワークに組み合わせた新しいメソッドSat2Graphを提案します。Sat2Graphの重要なアイデアは、道路グラフをテンソル表現にエンコードする新しいコーディングスキームであるグラフテンソルエンコーディング（GTE）です。GTEは、単純で頻度の低い教師ありモデルをトレーニングして、画像からグラフィック構造を直接キャプチャする豊富な機能セットを予測できます。2つの大きなデータセットを使用してSat2Graphを評価します。Sat2Graphは、広く使用されている2つのメトリック、TOPOとAPLSで既存のメソッドを上回っています。さらに、以前の作業では計画道路地図のみを推測していましたが、私たちの方法では、積み重ねられた道路（高架道路など）を推測することができ、そのための堅牢性があります。

論文の貢献
テンソルに基づくネットワークコーディングに加えて、この論文は2つの貢献もしました。

• 720平方キロメートルの面積をカバーする大規模な都市データセットと米国の20の都市で人気のある空間ネットワーク道路データセットの評価では、Sat2Graphは広く使用されている地形類似性測定の最先端の方法を上回りました。
• Sat2Graphは積み重ねられた道路を自然に推測でき、以前の方法ではこれらの道路を処理できません。