【OpenMMLab AI Combat Camp Phase IIメモ】8日目のセマンティックセグメンテーションとMMSセグメンテーション

1. セマンティックセグメンテーションとは何ですか

1.1 タスク:

オブジェクトのカテゴリに従って画像を異なる領域に分割することは、各ピクセルを分類することと同じです。

1.2 アプリケーション:

自動運転車の

ポートレートセグメンテーション
、ビデオ背景のリアルタイム置換、

インテリジェントリモート
センシング、および表面オブジェクトのカテゴリの識別右側のセグメント化された画像からわかるように、赤い部分は湖と川に属しています。インテリジェントなリモートセンシングにより、季節ごとの地表水の変化を監視することができ、農業生産を支援したり、干ばつや洪水などを予測したりできます。

医用画像解析

1.3 分類

セマンティック セグメンテーション vs インスタンス セグメンテーション vs パノラマ セグメンテーション

2. セマンティックセグメンテーションの基本的な考え方

2.1 色によるセグメンテーション

事前知識: 物体の内部の色は似ており、物体の境界面の色は変化します

問題:
(1) 事前知識は完全に正確ではありません;
(2) 異なる物体は似た色を持っている可能性があり、物体にも複数の色が含まれている可能性があります。

2.2 ピクセルごとの分類

既存の問題:
効率が低く、重複領域での畳み込み計算が繰り返される
解決策:
多重畳み込み計算

2.3 全結合層の畳み込み

2.4 予測マップのアップサンプリング

バイリニア補間 バイリニア

補間を実現するためのコンボリューション

転置コンボリューション 転置コンボリューション

2.5 完全畳み込みネットワークの予測と訓練

2.6 マルチレベル特徴に基づくアップサンプリング

さまざまなソリューション:

2.5 コンテキスト情報

画像の周囲のコンテンツ (コンテキストとも呼ばれます) は、より正確な判断を下すのに役立ちます。

セグメンテーション中にコンテキスト情報をどのように使用するか?
解決策: より大きな受容野を持つネットワーク ブランチを追加し、ローカル予測にコンテキスト情報を導入します。

2.6 Atrous コンボリューションと Deeplab シリーズ

拡張畳み込みがダウンサンプリング問題を解決する



DeepLab モデル

2.6 条件付きランダムフィールド CRF

条件付きランダム場

エネルギー関数の意味

2.6 空間ピラミッドプーリング ASPP

3. セマンティックセグメンテーションアルゴリズムの概要

4. セマンティックセグメンテーションの序文アルゴリズム

4.1 セグフォーマー

4.2 Kネット

4.3 マスクの形式

4.4 マスク 2 フォーマー

4.5サム

5. セマンティックセグメンテーションモデルの評価