紙のノート：セマンティックセグメンテーションのための完全畳み込みネットワーク

記事のディレクトリ

1つの概要
2革新

完全な畳み込みの代わりに、全層接続層に2.1

異なるサイズの2.1.1サポートされている任意の入力画像
学習終了までより助長2.1.2

2.2サンプリングなどの「デコンボリューション」
2.3導入ホッピング

3つの結果
4おわり
5つの参考文献

1つの概要

セマンティックセグメンテーションのための、（以下FCNと称する）「完全畳み込みネットワーク」ネットワークと呼ばれるこの論文、特定のサイズの画像の任意のサイズと出力の画像のネットワークサポート入力。このネットワーク構成に定義されている、ネットワークの深いラフと罰金へのジャンプが浅い融合のネットワークを示す特性図を備え、最高の効果が達成されました。

2革新

完全な畳み込みの代わりに、全層接続層に2.1

異なるサイズの2.1.1サポートされている任意の入力画像

、前CNNネットワーク構造では、それらのほとんどは、完全に層を接続する最後尾の層に使用され、ネットワークの全体層の側面に接続されたニューロンの数が一定で、一方の出力は、固定された解像度の画像に限定されなければなりませんそれは、入力画像のサイズが原因で機能の一貫性の数を確保するために、固定されなければならないことができます。画像は、完全に接続された以下の層を示しています。
ここに画像を挿入説明
しかし、完全にかかわらず、入力の多くは、1x1の畳み込み後のnの後、数nは関係なく、画像のサイズの、関連する特性となるようなサイズの、n個の1x1の畳み込みカーネルに直接接続され、この紙層。それは、次いで、接続層満杯である場合、全接続層のニーズがaxbxn図ターンを特徴とするので、パラメータの数は、画像の大きさに関連している（axbxn、1）フォワード行う行列及び逆方向伝搬となり、確保する必要があります写真AXBサイズが固定されています。

学習終了までより助長2.1.2

図に見られる文献中に与えられた：
ここに画像を挿入説明
完全に層を介して接続された完全接続層を用いて、第1ベース層の図最後の行は、実質的にRGB権利情報によって表されるが重い、画素間、すなわちリンクごとに得ることができます流通関係特性ピクセル。意味は1x1の畳み込みカーネルの導入は、複数の機能の重ね合わせとして表現され、あなたが直接ヒートマップが示すさまざまな機能重い重量を得ることができますされていれば、記事は、それが終わりを学習するより助長されます言及しました。

2.2サンプリングなどの「デコンボリューション」

一般的语义分割网络的套路是：首先输入一张图片，经过卷积提取特征图，然后为了提高感受野，作用是获取图片中更多的显著特征信息之间的联系而减少一些冗余信息，通常会继续经过池化层使得特征图缩小，然后再继续卷积…池化层…，直至提取到一定的特征以后，由于语义分割输出的是分割以后的图像嘛，所以必须保证输出以后的图像至少在尺寸上能够对应于原图，因此就有了上采样（通俗的说就是将小图通过一些算法把图片的尺寸放大）。上采样的方法有很多，如：双线性插值法、上池化、“反卷积”等。本文中使用到的上采样方法为“反卷积”（但是大家更愿意称其为转置卷积），其原理就是滑动窗口卷积法的逆过程，具体可以参考以下这篇博客：
一文看懂反卷积

2.3 引入了跳跃结构

本文中作者引入跳跃结构的思路是：由于在进行池化操作的时候，越在后面层的特征图分辨率是越小的，它更能反映出显著的特征信息，也就是文章所说的粗糙的信息。而越前面层的特征图，由于经过池化层的次数少，所以其更能反映带有细节的特征信息。而如果是特征图太粗糙的话，在进行上采样把图片恢复成原来大小时可能会不够准确，于是作者就有了这个想法，将前面的某层的精确特征图与后面的粗糙特征图融合以后再进行上采样会不会能够达到更好的效果。
ホッピング
在上图中，跟不同的层融合得到的效果不同，解释如下：
① FCN-32s代表的是：不采用跳跃结构，直接在conv6-7后面使用32倍的上采样得到32x32的输出。

② 而FCN-16s为：在conv6-7后得到的特征图进行2倍的上采样（为了使得与pool4以后的图的大小一致），直接上采样可能有一些细节无法恢复，所以需要与前面pool4得到特征图进行融合（在代码上是两个特征图直接相加），融合以后再使用16倍的上采样即可得到32x32的输出。

図4回サンプリングした後に得られ、その後、サンプリングpool4 pool3 2倍融合、32×32 8回のサンプリングによって得られた最終的な出力に供conv6-7請求③原理FCN-8Sも前出ています。

3つの結果

效果图
図は、FCN-32S、FCN-16S、です FCN-8S より良いFCN-8Sのパフォーマンスを見てレンダリング。
在这里插入图片描述
図は、一般的に、それはよりよいSDS性能の時よりなり、他のネットワークアーキテクチャレンダリングとFCN-8Sの比較であるが、第三の行のパフォーマンス結果と上図の第4段目は、非常に良好ではない、第三の線あなたは、グリッドを分割することはできません、四行目のセグメンテーションは失敗します。

4おわり

最新のセマンティックセグメンテーションネットワーク構造の効果は比較することはできませんが、それはネットワーク構造の背後の多くのセマンティックセグメンテーションの基礎です。本明細書VGG16改善のため、AlexNet、GoogLeNet等：特に、多くのFCNのような、方法FCNように、多くの主流の畳み込みニューラルネットワーク構造は、この方法を用いて改善することができる、ネットワーク構造でありますResNet50後に現れるように、及び、FCN方法は、セマンティックセグメンテーションを形成するために、完全な畳み込みに、構造上のネットワーク構造に加えてジャンプに基づいて、使用することができます。