まとめ

この論文では、セマンティックセグメンテーションタスク用の単純な畳み込みニューラルネットワーク構造を提案しています。最近、トランスフォーマーベースのモデルは、空間情報をエンコードする際のセルフアテンションメカニズムの効率性により、セマンティックセグメンテーションの分野で主流を占めています。この論文では、畳み込み注意の方が、変換における自己注意よりもコンテキスト情報のエンコードに効果的であることを発見し、セグメンテーションモデルの成功者の特徴を再調査することで、セグメンテーションモデルのパフォーマンス向上につながるいくつかの重要な要素を発見しました。コンポーネント。これは、安価な畳み込み演算を使用した新しい畳み込みアテンションネットワークを設計する動機となります。(付加機能なし) ディープニューラルネットワークを使用しないトリックにより、誰でも微調整することなくトレーニングセットを拡張でき、学習率とパラメーターにより優れた結果を達成できます。当社の SegNeXt ネットワークは、ADE20K、Cityscapes、COCO-Stuff、Pascal VOC、Pascal Context、iSAID などのいくつかの一般的なデータセットで SOTA パフォーマンスを達成しています。SegNeXt ネットワークは、NAS-FPN を使用した EfficientNet-L2 と比較して、PascalVOC データセット上で miou を 90.6% 向上させ、パラメーターの 10% のみを使用します。平均すると、SegNeXt は同等か約 2.0% の mIoU 向上が達成されます。計算負荷の高い ADE20K データセット。

これまでに成功したセマンティックセグメンテーションの作業を振り返ると、さまざまなモデルのいくつかの重要な特性が明らかになりました。

(1)エンコーダとしての強力なバックボーンネットワーク

(2)マルチスケール情報インタラクション: 主に個々のオブジェクトを認識する画像分類タスクとは異なり、セマンティックセグメンテーションは集中的な予測タスクであるため、単一の画像内で異なるサイズのオブジェクトを処理する必要があります。

(3)空間的注意: 空間的注意により、モデルは意味領域内の領域に優先順位を付けることでセグメンテーションを実行できます。

(4)計算量が少ない

主な貢献

1. 優れたセマンティックセグメンテーションモデルが持つべき機能を決定し、マルチスケールコンボリューション機能を通じて空間的注意を喚起する SegNext と呼ばれる新しいカスタムネットワークアーキテクチャを提案します。

2. シンプルで安価な畳み込みを使用するエンコーダーは、特にオブジェクトの詳細を処理する場合、計算コストがはるかに少なくて済むため、vit よりも優れたパフォーマンスを発揮できます。

3. 一部のデータセットのパフォーマンスが大幅に向上しました

方法

前作からのエンコーダー・デコーダー構造を採用

畳み込みエンコーダ

前回の研究をほぼ踏襲し、エンコーダにはピラミッド構造を採用し、エンコーダの構成ブロックについては VIT と同様の構造を採用していますが、セルフアテンションメカニズムを使用する代わりに、新しいマルチスケール畳み込みアテンションを設計します。 (MSCA) モジュール

図に示すように、MSCA は 3 つの部分で構成されます。ローカル情報を集約するための深さ畳み込み、マルチスケールコンテキストをキャプチャするためのマルチブランチ深さ方向のストリップ畳み込み、および異なるチャネル間の関係を調整する1X1 畳み込み(SeNet を参照)。1×1 畳み込みの出力は、MSCA の入力を再重み付けるためのアテンションウェイトとして直接使用されます。

数学的には、MSCA は次のように記述できます。

マルチブランチの深さ方向のストリップ畳み込み

一方で、バンド付き畳み込みは軽量です。カーネルサイズ 7X7 の標準 2D コンボリューションを模倣するには、7X1 コンボリューションと 1X7 コンボリューションのペアだけが必要ですが、セグメント化されたシーンには人や電柱などのいくつかのストリップオブジェクトが存在します。ストリップコンボリューションこの製品はグリッドコンボリューションを補足するものであり、バンドの特徴を抽出するのに役立ちます。

MSCAN

一連のビルディングブロックを積み重ねることで、MSCAN という名前の提案された畳み込みエンコーダーが得られます。MSCAN の場合、空間解像度を下げる 4 段階とそれに続く4 段階で構成される共通の階層を採用します。ここで、H と W はそれぞれ入力画像の高さと幅です。各ステージにはダウンサンプリングモジュールと構築スタックが含まれています。ダウンサンプリングブロックには、ストライド 2 およびカーネルサイズ 3X3 の畳み込みがあり、その後にバッチ正規化層が続きます。MSCAN の各ビルディングブロックでは、バッチ正規化の方が大きいことがわかったため、層正規化層正規化の代わりにバッチ正規化を使用することに注意してください。セグメンテーションのパフォーマンスが向上します。

*注意: バッチ正規化はストライプ畳み込みに適しています

バッチ正規化: バッチ正規化は、コンピュータービジョンで広く使用されています。これは、畳み込みニューラルネットワーク (CNN)、特により深いネットワーク層で一般的に使用されます。バッチ正規化では、サンプルの小さなバッチごとの特徴を正規化することで、ネットワークの安定性と汎化能力を向上させ、収束を高速化できます。画像分類、物体検出、画像セグメンテーションなどのコンピュータービジョンタスクにおいて、バッチ正規化は、ネットワークがさまざまなスケールや分布の画像データをより適切に処理し、モデルのパフォーマンスと堅牢性を向上させるのに役立ちます。
レイヤーの正規化: レイヤーの正規化がコンピュータービジョンで使用されることは比較的まれですが、特定の状況では依然として応用価値があります。レイヤー正規化は、リカレントニューラルネットワーク (RNN) やセルフアテンションメカニズム (Self-Attention) モデルなどのシーケンスデータでよく使用されます。ビデオ解析、オプティカルフロー推定、人間の姿勢推定などのコンピュータービジョンタスクでは、レイヤーの正規化は、ネットワークがシーケンスデータの時間依存性を処理し、勾配の消失や勾配の爆発の問題を軽減し、データの精度を向上させるのに役立ちます。時系列でのモデル化、モデリング機能。

モデルサイズ

サイズの異なる 4 つのエンコーダモデルを設計し、それぞれ MSCAN-T、MSCAN-S、MSCAN-B、MSCAN-L という名前を付けました。対応する全体的なセグメンテーションモデルは、SegNeXt-T、SegNeXt-S、SegNeXt-B、SegNeXt-L です。詳細なネットワーク設定を表 2 に示します。

デコーダ

セグメンテーションモデルでは、エンコーダーのほとんどは ImageNet データセットで事前トレーニングされます。高レベルのセマンティクスをキャプチャするには、通常、エンコーダに適用されるデコーダが必要です。この研究では、図 3 に示す 3 つの単純なデコーダ構造を調査します。

1 つ目は、SegFormer を使用した、純粋な MLP ベースの構造です。

2 つ目は主に CNN ベースのモデルを採用します。この構造では、エンコーダの出力が ASPP、PSP、DANet などの高負荷デコーダヘッドの入力として直接使用されます。

最後は当社セグネクストが採用している構造です。最初の 3 つの段階からの機能を集約し、軽量のハンバーガーを使用してグローバルコンテキストをさらにモデル化します。強力な畳み込みエンコーダーと組み合わせると、軽量デコーダーのほうが計算効率が高くなります。

ステージ 1 からステージ 4 までの特徴を集約する SegFormer のデコーダーとは異なり、Hamburger デコーダーは最後の 3 つのステージからの特徴のみを受け取ります。これは、SegNext が畳み込みベースであるためです。ステージ 1 の機能には低レベルの情報が多すぎるため、パフォーマンスが低下します。さらに、ステージ 1 での操作は大きな計算オーバーヘッドをもたらします。当社の畳み込み SegNeXt は、最近のトランスフォーマーベースの SegFormer や HRFormer よりもはるかに優れたパフォーマンスを発揮します。

実験

ImageNet-1K、ADE20K、Cityscapes、Pascal VOC、Pascal Context、COCO-Stuff、iSAID を含む 7 つの一般的なデータセットでメソッドを評価します。

ImageNet は最も有名な画像分類データセットで、1,000 のカテゴリが含まれています。ほとんどのセグメンテーション手法と同様に、MSCAN エンコーダの事前トレーニングに使用します。

要約する

この論文では、以前に成功したセグメンテーションモデルを分析し、それらが持つ優れた特性を見つけます。これらの発見に基づいて、カスタム畳み込みアテンションモジュール MSCA と CNN のようなネットワーク SegNeXt を提案します。実験結果は、SegNeXt が最先端のトランスフォーマーベースの方法よりも大幅に優れていることを示しています。この論文は、適切な設計を使用した場合、CNN ベースの手法がトランスベースの手法よりも優れたパフォーマンスを発揮できることを示しています。この論文が研究者に CNN の可能性をさらに調査するよう促すことを願っています。

私たちが提案したモデルには、1億パラメータを超える大規模モデルへのこの方法の拡張や、他のビジョンまたはNLPタスクでのパフォーマンスなどの制限もあります。これらの問題については今後の作業で対処していきます。

SegNext: セマンティックセグメンテーションにおける畳み込みアテンションデザインの再考

まとめ

主な貢献

関連事業

セマンティックセグメンテーション

マルチスケールネットワーク

注意メカニズム

方法