記事のディレクトリ
1つの概要
CNNの開発、深さの多くの出現などCNNなど、より深いResNetシリーズで、彼らはそのようなセマンティックセグメンテーションなど密な完全なセグメンテーションタスクに適しています。しかし、CNNでサンプルする必要が原因繰り返し行わ、これは絶えずにつながっている画像の解像度を下げる、画像の空間的な情報の一部を失いやすいので、いくつかの高解像度画像のための非常に非友好的です。この問題に対処するために、著者らはRefineNet、残留畳み込みモジュール（残留畳み込み単位）、マルチ解像度の融合モジュール（マルチ解像度の融合）とシリーズ残留間違いモジュール（連鎖残留プーリング）および他の構造の導入を提案し、非常に有効です空間分解能の回復は、焦点7のデータはSOTAに達しました。
2つのハイライト
DeepLab最善を行うネットワークが、著者らは2つの欠陥があることに注意してください時には、：
①高解像度の画像は、高次元の特徴の存在は、DeepLabは、コンピューティングリソースを大量に消費するようになります。
②DeepLab畳み込み、それは大きな受容野を得ることができるにもかかわらず、空の使用が、これはいくつかの領域の高解像度の画像情報が失われるようになります、画像が粗くなります。RefineNetは、主にこれらの問題を回避するには、3つのモジュールを使用して、著者らが提案しました。
2.1残留畳み込みモジュール（RCU）
ブロックが2行に分割されて以下に示すように著者は、RCUモジュール参照ResNet残差ブロックを提案する：
トランクに直接入力画像を、分岐ReLU介して第一の画像、3x3の畳み込み、ReLu、3x3の畳み込み、畳み込み図は、画像情報がより豊富であるような補足情報を特徴とする幹線に重畳特徴融合した後は、残留部分を理解することができます。
以上の2.2決議融合モジュール（MRF）
畳み込みモジュールによって得られた残差画像は、MRFモジュールを入力する必要があります後、次のように、画像モジュールは、主にMRF異なる特徴抽出のためのスケールと同じ解像度、最終的な融合にアップサンプリングされる：
異なるスケールでの画像は、対応する入力しましたチャネル3x3の畳み込み、次いで双線形補間でサンプリングは、異なるチャネルの最終的な画像が同じ解像度の画像にサンプリングされ、最終的な融合は、次の層の結果を重畳しました。
2.3残基間違いシリーズモジュール（CRP）
MRFは、CRPモジュールの次のレベルで、我々は、画像の背景情報を豊かにする、として以下の最初の二つのモジュールの役割は、異なる解像度の画像情報で融合、およびCRPモジュールの役割は、キャプチャ背景情報に主にされていると言うことができ図：
入力画像と、画像を直接ReLU融合された後に畳み込みモジュールによって得られたReLU第1のプール結果を通る;同じ操作の背後にカスケードセル層畳み込みモジュール、著者らは、そのプールの畳み込みを示唆します再起動プール畳み込みモジュールは、それが正しいとより助長より詳細な情報を、学ぶために役立つと全体的な結果を補完します層を、カスケード接続するたびに後に合計を行っていません。
2.4 RefineNetモジュラー構造
RefineNet全体的な構造で再びので、酔ってのタイトルRefineNetモジュール構造は、また、以下の図このモジュールが含まれていることを理由。
このモジュールでは、図の畳み込み積分は残留モジュール（RCU）で、多重解像度統合モジュール（MRF）、残基ミスモジュール（CRP）3つの一連のモジュールを一緒に入れ、最終的にモジュールRCUのすべてのバランスを通じ重量は、同じ最終的なセグメンテーション結果入力空間次元を得ました。そう実際にRefineNet全体バンド充填畳み込みモジュールと同様、入力画像の特徴抽出（の密なブロックに類似しているモジュールと考えることができるが、良好な効果がこの畳み込みモジュールに抽出することができます非常に完全な特徴情報）。
2.5 RefineNet全体的なネットワーク構造
在介绍RefineNet总体网络结构以前，作者先对ResNet和空洞卷积网络结构进行了分析，其如下图：
（a）中为ResNet结构，由于连续不断的池化，图像从输入1/4到最终输出已经变成1/32，图像的很多重要信息已经丢失了。而（b）中虽然使用空洞卷积代替了池化操作，但是由于空洞卷积没有缩小图像尺寸，所以参数量大，需要花费大量的计算资源。于是，作者提出（c），如下图：
通过对图像的不同大小经过RefineNet模块（就类似于卷积的作用提取高分辨率特征）再层层融合，这样既能保证图像信息较为完整而且参数量较小，没有花费大量计算资源。可以看到，这个网络的整体结构非常类似U-Net，增添了RefineNet模块进行高分辨率的特征提取，U-Net结构如下图：
2.6 RefineNet变种结构
作者提出，RefineNet可以通过使用RefineNet模块进行不同的变种来适应不同的场合，如：
① 变种1：
为仅仅使用一个RefineNet模块的结构。
② 变种2：
为使用两个RefineNet模块的结构。
③ 变种3：
这个结构引入了两个尺度的图像，一个为1.2倍的输入图像，另一个为0.6倍的图像。0.6倍的图像处理最后作为辅助的融合信息传给1.2倍的子操作中。这样构成了两个尺度的RefineNet网络结构，微微比一个尺度的输入图像的结构准确率高。
3 部分效果
IOUは、各ネットワークの風景画テストセット上の写真はその結果。
映像番組は、種々の比較はNYUDv2ネットワークデータセット、より可視RefineNetモジュール、よりスケール、高精度変異体。
パフォーマンスの分析側面の目標は非常に良好であるとのネットワーク、映像ショーRefineNet人-部品へのデータセットの効果は、非常によさそうです。
4おわり
RefineNet効率的に画像リッチの特徴情報を抽出することができる多重解像度画像融合を用いて、提案し、マルチスケールSPP、等ASPPの問題を解決するための方法とは異なります。
5つの参考文献
（1）RefineNet：マルチネットワーク、高分解能精密化のパスセマンティックセグメンテーション
（2）[モデル]多重解像度画像分割機能融合-RefineNet
