【CVPR2023】BiFormer: バイレベルルーティングを考慮したビジョントランスフォーマー
BiFormer：バイレベルルーティングアテンションを備えたビジョントランスフォーマー - 知乎
【この記事の寄稿】
- 新しい動的スパース アテンションがバイレベル ルーティングを通じて提案され、より柔軟な計算割り当てとコンテンツ認識を実現し、動的でクエリを意識したスパース性を実現します。
- 基本的な構成要素として 2 レベルのルーティング アテンションを使用して、BiFormer という名前の新しいビジュアル Transformer が提案され、ビジュアル フィールドでの複数の実験により、モデルのパフォーマンスが向上することが示されました。
【ネットワーク構成】
まず、バイレベル ルーティング アテンション (BRA) が提案され、まず特徴マップを S×S の非重複領域に分割して QKV を取得し、次に Q と K の平均値を取得して対応する Qr と Kr を取得します。領域間の親和性の隣接行列 Ar については、topK 演算子を使用して、最も密接に関連する上位 k 個の領域を保持し、領域ルーティング インデックス行列 Ir を取得します。
Ir を取得した後、次の図に示すように、きめの細かいトークン間アテンションを適用できます。まず、Ir 内のすべての要素によってインデックス付けされた配線領域を収集し、それらのすべての K と V を収集して Kg と Vg を取得します。 Kg と Vg は注意のために使用されます。
最後に、
ここでの LCE は、ローカル コンテキスト拡張アイテムです (関連論文「マルチスケール トークン アグリゲーションによるシャントされたセルフアテンション」)。
この論文では、BRA を基本構成要素として使用し、下図に示すように、大まかに 4 段階のピラミッド構造として構成される BiFormer を提案します。
【経験】
動的スパースアテンションやtopK法を使用すると、計算量を減らすことができますが、正解率が低下するリスクもあるため、K値の選択には注意が必要な場合があります。
【TGRS2022】融解期における汎北極の毎週の海氷濃度予測のためのデータ駆動型ディープラーニングモデル
1. SICNet [任宜斌、李暁峰、張文豪] - Zhihu
【この記事の寄稿】
海氷予測のためのモデル SICNet を提案した。これは既存のモデルより軽量で性能が良く、Persist よりも優れた再帰的予測性能を示した。
【ネットワーク構成】
一般的には U-Net 構造であるが、主な革新点は CBAM の MLP 部分を本論文で提案する TCN モジュールに置き換えた TSAM を提案することであり、これは特徴マップに重み情報を追加することに相当する。 。
TSAM 関連モジュールの構造と CBAM との比較:
コンピュータビジョンでは通常、異なるクラスを表すために異なるチャネルが使用され、クラス間の大域的な相関関係を抽出するためにMLPが使用されるため、この論文ではCBAMをSICの長いシーケンスに直接移動するのは適切ではないと考えています。 SIC の長いシーケンスでは、チャネルシーケンス間の順序依存性、つまり空間関係を取得する必要があります。SIC タスクは過去の SIC シーケンスに大きく依存しており、タイミングを考慮する必要があるため、このホワイト ペーパーでは、次の図に示すように、MLP を TCN 構造に置き換えます。
【経験】
ここでの TCN は、MLP をスパースに変更することに相当します。CBAM と比較して、TSAM の計算量は少なくなります。特定のタスクでは、元の CBAM を TSAM に置き換えることを試みることができます。
【Nature Communications】確率論的深層学習による北極海氷の季節予測
【この記事の寄稿】
確率的かつ深層学習に基づいた海氷予測システム IceNet を提案します。
【ネットワーク構成】
全体的には U-Net 構造です。
関連するトレーニング プログラムとパラメーター:
【経験】
この記事は、深層学習モデルを海洋ドメインに適用したものです。