1.ワイコネット
Looking_Outside_the_Window: 高解像度リモート センシング画像のセマンティック セグメンテーションのためのワイド コンテキスト トランスフォーマー 高解像度リモート センシング画像のセマンティック セグメンテーションのためのワイド コンテキスト トランスフォーマー
発行者: 国立防衛技術大学
発行日: 2022.4.18
データセット: ポツダムに役立つ
コード:コード
タイトル: 地球科学とリモートセンシングに関する IEEE トランザクション
主な貢献:
- HRrsi セマンティック セグメンテーション用のワイド コンテキスト ネットワーク (WiCoNet) が提案されています。WiCoNet には、それぞれローカルおよびグローバルの画像レベルから特徴を抽出する 2 つの CNN が含まれています。これにより、WiCoNet はローカルの詳細と幅広いコンテキストの両方を考慮できるようになります。
- コンテキストコンバーターは、デュアルブランチのセマンティック依存関係をモデル化するために提案されています。Context Transformer は、デュアルブランチ CNN 機能をフラット化されたトークンに埋め込み、ローカル トークンとコンテキスト トークン全体でアテンション操作を繰り返すことでコンテキストの関連性を学習します。したがって、投影された局所フィーチャは広範なコンテキスト情報を知っています。
- RSI のセマンティック セグメンテーション用のベンチマーク データセット (つまり、Beijing LandUse (BLU) データセット) が提案されています。これは、土地利用タイプごとにラベルが付けられた人材衛星データセットです。このデータセットのリリースにより、将来の研究が大幅に促進されると信じています。
2. DCFAM
高解像度のリモート センシング画像のための新しいトランスフォーマー ベースのセマンティック セグメンテーション スキーム
発行者: 武漢大学
発行日: 2022.1.14
データセット: ポツダムに役立つ
タイトル: IEEE GEOSCIENCE AND REMOTE SENSING LETTERS
主な貢献:
- 高密度接続特徴集約モジュール (DCFAM) は、正確なセグメンテーションのためにマルチスケールの関係強化セマンティック特徴を抽出するために提案されています。
- Swin Transformer と DCFAM を組み合わせて、新しい高密度接続 Swin (DC Swin) Transformer セマンティック セグメンテーション スキームが確立されます。
三、UDAトランス
Transformer を使用したリモート センシング セマンティック セグメンテーションの教師なしドメイン適応リモート センシング セマンティック セグメンテーションの教師なしドメイン適応に Transformer を使用する
発行者: 中国電子科学技術大学
発行日: 2022.10.3
データセット: ファイインゲン & ポツダム
コード:コード
タイトル: Remote Sens.
主な貢献:
- DeepLabV3+ を使用した以前の方法と比較して、リモート センシング画像の UDA の自己トレーニングにおける Transformer の優れたパフォーマンスを実証しました。
- 自己トレーニング UDA フレームワークのパフォーマンスを向上させるために、プログレッシブ クラスの重みとローカル動的品質の2 つの戦略が提案されています。どちらも実装が簡単で、既存のセマンティック セグメンテーション モデルに埋め込むこともできます。
- 私たちは、ポツダムとファイインゲンのデータセット上のリモート センシング画像に対して最先端の UDA 手法を上回り、クロスドメインのセマンティック セグメンテーションのパフォーマンスを向上させ、ドメイン ギャップを効果的に最小限に抑えることができることを実証しました。
自己トレーニング UDA フレームワーク:
- ソース画像 xS とソースラベル yS は、GCW で教師付きの方法で一緒にトレーニングされます。
- 擬似ラベル pT は、ターゲット ラベル yT の代わりに教師モデル hφ によって生成されます。
- ターゲット画像 xT と擬似ラベル pT は、LDQ とともにトレーニングされます。
- GCW および LDQ の色が濃いほど、対応するクラスと疑似ラベルの重みが大きくなります。
教師なしドメイン適応 (UDA) 構成:
自己トレーニングでは、ネットワークはターゲット ドメインの疑似ラベルを使用してトレーニングされます。
ほとんどの UDA メソッドは、オフラインで擬似ラベルを事前計算し、モデルをトレーニングし、このプロセスを繰り返します。
あるいは、トレーニング中に擬似ラベルをオンラインで計算することもできます。
トレーニングの不安定性を回避するために、擬似ラベルのプロトタイピングや、データの拡張やドメインの混乱に基づく一貫性の正則化手法が採用されています。