【グループミーティングの組織と経験】PIDNet、CMNeXt、PMDRnet

【CVPR2023】PIDNet: PID コントローラーからインスピレーションを得たリアルタイムセマンティックセグメンテーションネットワーク

【CVPR2023】PIDNet: PID コントローラーからインスピレーションを得たリアルタイムセマンティックセグメンテーションネットワーク - 知乎

【この記事の寄稿】

ディープ CNN と PID コントローラー間の接続を確立するために、PID コントローラーアーキテクチャに基づく 3 分岐ネットワークが提案されます。
PIDNet のパフォーマンスを向上させるために、詳細な機能と状況に応じた機能のバランスを取るための Bag fusion モジュールなどの効率的なモジュールが提案されています。

【ネットワーク構成】

ここでの PID はオートメーションの分野から来ており、P は比例コントローラー、I は積分コントローラー、D は微分コントローラーであり、これら 3 つが合わせて PID コントローラーを構成します。PID コントローラーとネットワークの比較を次の図に示します。

PIDNet には 3 つのブランチがあり、比例ブランチ P は高解像度フィーチャマップの詳細情報を解析して保存する役割を担い、積分ブランチ I はローカルおよびグローバルのコンテキスト情報を集約して長距離の依存関係をキャプチャする役割を担い、差分ブランチ D は高周波特徴を抽出して境界領域を予測します。

P ブランチの Pag は、高周波の特徴を選択的に学習するために使用されるピクセルアテンションガイダンスモジュールです。その構造は、選択的カーネルと同様に、次の図に示されています。

I ブランチの PPM はコンテキスト情報を効率的に集約するために使用され、Bag は詳細と背景のバランスを取るために使用されます。構造は下図に示すように、PPM はマルチスケールのピラミッド構造を使用してローカルおよびグローバルコンテキストを形成します。 Bag は境界注意によって導かれる融合モジュールです。高周波領域と低周波領域をそれぞれディテールとコンテキストの特徴で満たします。

【経験】

この記事はオートメーション分野における PID の概念に基づいてモデルを構築する作業ですが、他の分野の適切な概念を深層学習モデルに適用することで、新しいモデルを構築できることが期待されます。

【CVPR2023】任意モーダルセマンティックセグメンテーションの実現

【CVPR2023】任意モーダルセマンティックセグメンテーションの提供 - 知乎

【この記事の寄稿】

4 つのモード、4 つの悪天候条件、5 つのセンサー障害モードを含む、任意モードセマンティックセグメンテーション (AMSS) 用の新しいベンチマーク DELIVER (深度、LiDAR、複数のビュー、イベント、および RGB) を作成しました。
さまざまなマルチモーダルフュージョンパラダイムがレビューおよび比較され、AMSS を実装するために非対称アーキテクチャを備えた Hub2Fuse パラダイムが提案されています。
一般的な任意クロスモーダル融合モデル CMNeXt を提案します。このモデルでは、Self-Query Hub (SQ-Hub) を使用して情報特徴を選択し、Parallel Pool Mixer (PPX) を使用して識別キューを取得します。

【ネットワーク構成】

本稿では、①モードが多ければ多いほど性能は単調増加するはずだが、従来モデルの欠陥ではそれが示されなかった、②複数のセンサーを同時に動作させることで、単一センサーの損傷に対して効果が期待できる、という2つの観測結果を紹介します。。

この論文では 2 番目の観測に対して DELIVER データセットを提案し、最初の観測に対して CMNeXt を提案します。

CMNeXt は 2 つのブランチ (1 つは RGB 用、もう 1 つはさまざまな補助モード用) からなる非対称アーキテクチャであり、その革新的な構造は、RGB ブランチとマージする前にすべてのモードで動作する自己クエリセンター SQ ハブです。状態に情報量が多く、注意に沿って最大値を取ることで計算量を削減できます。

【経験】

この論文は、任意のモーダル特徴を融合する研究です。

【TGRS2022】PMDRnet: AMSR2 北極海氷画像のマルチ画像超解像のための進歩的マルチスケール変形可能残差ネットワーク

【この記事の寄稿】

北極海の海氷のパッシブマイクロ波画像のために、深層残差畳み込みネットワークに基づいたプログレッシブマルチスケールの変形可能な残差ネットワーク PMDRnet が設計されています。
複雑かつ大規模な北極海氷の動きに対処するために、プログレッシブアライメント戦略とマルチスケール変形可能畳み込み (DConv) アライメントユニットが設計されています。さらに、ネットワーク内の時間的注意メカニズムを使用して、多時間的に整列された特徴の適応的融合が達成されます。
海氷の解像度を向上させ、より良い北極SIC検索結果を得るために、マルチチャンネルAMSR2画像の輝度温度の偏光差に基づいて海氷相関損失関数を設計した。

【ネットワーク構成】

この論文は主に深層学習に基づくマルチ画像超解像度 DL-MISR を目的としており、DL-MISR の作業には主に位置合わせ、融合、再構成が含まれます。

本論文のネットワークも位置合わせ，融合，再構成の 3 つの部分から構成されており，位置合わせ部分では 5 枚の画像をシーケンスとして使用し，入入力は 89 枚の水平偏光画像と垂直偏光画像を含むデュアルチャネルデータである．-GHzチャネルこのプロセスでは、プログレッシブアライメント戦略とマルチスケール DConv アライメントユニットを使用して、カスケード方式でプログレッシブアライメントを実現します。

プログレッシブ位置合わせは、シーケンス内の動きを連結ごとに 2 つの隣接する画像に分解することに相当し、最終的にすべての画像が間接的に中央のターゲット画像の特徴に位置合わせされます。マルチスケール DConv アライメントユニットを次の図に示します。補足として近傍情報を取得するために 3 スケールオフセットを使用しています。

融合部分では、時間的注意メカニズムを使用して融合特徴を取得する適応融合モジュールを使用し、シーケンス内の画像とターゲット画像の間の情報の類似性に応じて注意を調整します。支払われます。

【経験】

この記事は、深層学習に基づいた複数画像の超解像度研究であり、以前の論文「[JSTARS23] Atrous Convolution を使用したエンコーダ – デコーダネットワークによる AMSR2 画像からの超解像度支援海氷濃度推定」の一部です。グループミーティング。