セマンティックセグメンテーション（FCN、UNET、DEEPLAB）

セマンティックセグメンテーション（FCN、UNET、DEEPLAB）

セマンティックセグメンテーションの目的は、画像内の各ピクセルを分類して、各ピクセルが属するカテゴリを決定することです。（ピクセルレベルからの分類）

1.FCN（Fully Convolustional Networks）

VGGやResnetなどのCNNネットワークは、ネットワークの最後に完全に接続された層を追加し、softmaxを介してカテゴリの確率情報を取得します。取得された1次元の確率情報により、画像全体のカテゴリを識別できます。FCNは、ネットワークの背後にあるすべての完全に接続されたレイヤーを畳み込みで置き換えて2次元の特徴マップ（特徴マップ）を取得し、デコンボリューションレイヤーを使用して特徴マップをアップサンプリングし、画像と同じサイズに復元することを提案します。各各ピクセルは、セグメンテーションの問題を解決するための予測結果を生成します（FCNは、抽象特徴マップ内の各ピクセルのカテゴリを復元することです）。

FCNの構造と運用プロセスは次のとおりです。

• まず、完全なたたみ込みを使用して特徴（点線の上の部分）を抽出します。図の青いブロックはたたみ込みブロックであり、緑のブロックは最大プーリングブロックです。入力は任意のサイズのカラー画像にすることができ、出力画像のサイズは入力サイズと同じです。
• 次に、畳み込みネットワークのさまざまな段階（点線の下の部分）からの分類結果を予測します。元の画像が多層畳み込みおよびプーリング操作にかけられた後、結果の画像はどんどん低くなり、解像度は次のようになります。どんどん低くなり、画像はヒートマップ（つまりフィーチャマップ）と呼ばれます。デコンボリューション操作を使用して、入力画像と同じサイズに復元されるまで特徴マップをアップサンプリングし、それによって各ピクセルの予測を生成します。入力画像のサイズがNであると仮定すると、N cはとカテゴリの数はCであり、復元された画像サイズがNである、N C、およびC画像における画素の最大の数値的記述（確率）の分類として画素ごとに得られます。ピクセル。つまり、最終的に復元された画像が分類されています。

アップサンプリング操作についてアップサンプリング操作には、サイズ変更とデコンボリューションの2種類があります。
サイズ変更は、主に双一次補間によって直接行われます。
デコンボリューション操作の原理は、通常の畳み込みの逆に相当する畳み込みの原理に似ています。次の図に示すように、畳み込み操作では、3 3畳み込みカーネルを使用して、44の元の入力を22フィーチャマップに畳み込みます。デコンボリューションでは、22フィーチャマップを元のサイズの4 * 4に復元します。。これは、エンコード-デコードプロセスと同等です。

スキップ構造について
（ネットワーク構造図の点線の下部など）。データごとの加算方法を使用して、3つの異なる深度の予測結果を融合します。浅い結果はより洗練され、深い結果はより堅牢になります。

2.睡眠

Unetの構造は上の図に示され、形状は文字Uに似ています。全体的な構造は、最初にダウンサンプリングされ、次にアップサンプリングされ、入力画像と同じサイズに戻ります。具体的には：

• 左半分はエンコーディングエンコーダー部分であり、2つの3 3畳み込み層（Relu）と2 2の最大プーリング層（stirde = 2）で繰り返し構成されています。
• 右半分は、2 2アップサンプリング畳み込み層と連結（Cropに対応するエンコーダ層によって出力されたフィーチャマップがデコーダ層のアップサンプリング結果に追加されます）+2で構成されるデコードデコーダ部分です。3つの繰り返し3畳込み層
• 最後のレイヤーは、1 * 1の畳み込みにより、チャネル数を目的のカテゴリ数に変換します。

Unetは合計4つのアップサンプリングを実行し、同じステージでスキップ接続を使用しました。高レベルのセマンティック機能を直接監視して損失を反転する代わりに、最終応答の機能マップに低レベルの機能がより多く組み込まれるようにしました
。UnetA機能の融合FCNとは異なる方法が使用されます。FCNはフィーチャに対応するポイントの追加です。Unetはチャネル次元でフィーチャをスプライスして、より厚いフィーチャを形成します。

3.Deeplab

Deeplabv1

Deeplabは、Deep Convolutional Neural Networks（DCNN）とProbabilistic Graphic Models（DenseCRF）のメソッドを組み合わせたものです。DCNNの高度な機能の変換は変形されないため、DCNNにはセマンティックセグメンテーションタスクの精度が不十分であるという問題があります。Deeplabは、DCNNの応答を完全に接続された条件付き確率場と組み合わせ、DCNNモデルにホールコンボリューションを革新的に適用します。

DCNNには、画像ラベリングタスクに2つの技術的な障害があります。1つは信号のダウンサンプリングです。DCNNで最大プーリングとダウンサンプリングを繰り返すと、解像度が低下し、詳細が失われます。Deeplabは、ホールコンボリューションを使用して受容野を拡張します。より多くのコンテキスト情報。2つ目は空間的非感受性です。分類器がオブジェクト中心の決定を取得するには空間変換の不変性が必要であり、DCNNの位置決め精度が制限されます。DeeplabはDenseCRFを使用して、モデルの詳細をキャプチャする機能を向上させます。

穴のたたみ込み

従来のCNNは、畳み込みとプーリングを使用して、受容野（畳み込みニューラルネットワークの各層によって出力される特徴マップ上のピクセルによって入力画像にマッピングされる領域のサイズ）を増やしながら画像サイズを縮小します。ただし、画像サイズを小さくしてからプーリング操作のサイズを大きくする過程で一部の情報が失われます。ホールコンボリューションの提案により、プーリング操作なしで受容野を大きくすることができます。

上図に示すように、（a）は3 3の通常の畳み込み、（b）は3 3、穴は1の畳み込みです。畳み込み演算には赤い点のみが含まれ、残りの点はスキップされます。©3 * 3、穴は3の畳み込みです。ホールコンボリューションの利点は、損失情報をプールしないと、受容野が拡大されるため、各コンボリューション出力に含まれる情報の範囲が広がることです。

DenseCRF

畳み込みネットワークによって生成された結果は、ラフオブジェクトの位置を可能な限り表すことができ、オブジェクトを非常に便利に記述することはできません。完全に接続されたCRFを使用すると、オブジェクトの境界を適切に復元できます。

各ピクセルiについて、そのカテゴリはxi、観測値はyi、各ピクセルはノード、ピクセルとピクセルの関係はエッジと見なされます。条件付き確率場を形成でき、iのカテゴリは観測された変数yiラベルxiに基づいて推測できます。

CRFのエネルギー関数はE（x）であり、病院のポテンシャル関数とバイナリポテンシャル関数で構成されます。

単一ポテンシャル関数は、現在のピクセルがyiとして観測され、対応するラベルがxiの確率値であることを意味します。

バイナリポテンシャル関数は、変数間の相関関係を説明するために使用される

CRFとその上にその観察シーケンスの影響CRF後処理工程であります

Deeplabv2

v1バージョンと比較して、ホールコンボリューション方式が調整され、ASPP方式が提案され、ベースレイヤーがVGG16からResNetに置き換えられました。

ここでは主にいくつかのASPPについて話します。ASPP（Atrous空間ピラミッドプーリング）は、He KaimingのSPPアイデアに基づいており、主に画像処理のマルチスケール問題であるピラミッドアイデアを解決します。

Deeplabv3

v3バージョンは主にv2のASPPを改善し、CRFの廃止後に良好な結果が得られました。

上の図に示すように、平行な穴の畳み込みが追加され、異なる穴の畳み込みが同じブロック層で使用されて、マルチスケールが実現されます。

参照

[1] https://blog.csdn.net/xxiaozr/article/details/74159614
[2] https://blog.csdn.net/qq_36269513/article/details/80420363
[3] https：//zhuanlan.zhihu .com / p / 31428783
[4] https://zhuanlan.zhihu.com/p/90418337
[5] http://hellodfan.com/2018/01/22/%E8%AF%AD%E4%B9% 89％E5％88％86％E5％89％B2％E8％AE％BA％E6％96％87-DeepLab％E7％B3％BB％E5％88％97 /