詳細な紙ベースの画像ノイズ除去DnCNNモデル（超えガウスディノイザ：画像ノイズ除去のためのディープCNNの残留学習）

オリジナル紙：https://arxiv.org/pdf/1608.03981.pdf

I.はじめに

正直なところ、この論文の後半部分を熟読する価値がない、コンテンツの多くは、長ったらしい書き込みに比較し、実験を議論しています。以下では、コンテンツは、あなたのモデルの優れた効果を知って読んだ後、啓発が、非常にうまく理由を知りません。

記事焦点：

残留（残差を学習）学習とバッチ正規化（バッチ標準化）深いのネットワークの条件の下で、画像復元、缶で補完的な役割を強調し、まだ高速コンバージェンスと優れたパフォーマンスをもたらすことができます。
本論文では、ノイズガウスの異なるレベルに対処するための単一のモデルで、DnCNN、問題のガウスノイズ除去を提案している。あなたも三つの領域でのロックの問題にガウスノイズ除去、超解像、JPEGに対処するための単一のモデルを使用することができます。

二、DnCNNネットワークモデル

DnCNNネットワーク構造

ネットワークアーキテクチャ：

第一部：コンバージョン（3 * 3 * C * 64）+ ReLu（チャネルの数の代表画像C）

第二部：コンバージョン（3 * 3 * 64 64）+ BN（バッチ正規化）+ ReLu

パートIII：コンバージョン（3 * 3 * 64）

入力と出力の大きさの各層が一貫性を維持するように、各層ゼロパディング。人工境界線（境界アーティファクト）を防止するために。第二の部分とのコンボリューションとの間の各層はreLUバッチの標準化（バッチの正規化、BN）を添加します。

深アーキテクチャ：層3種類によって所定の深さDnCNN D、図中の3つの異なる色を示します。（I）コンバージョン+ ReLU：第一層64個のサイズ $3 \回3 \回C$ のフィルタは、図1の機能64を生成するために使用されます。そして、線形要素整流 $（ReLU、MAX（0、\ CDOT））$ 非線形のために。cは画像のチャンネルの数を表し、すなわち、C = 1の場合、グレー画像、C = 3は、カラー画像です。（ii）のコンバージョン+ BN + ReLU ：層に相当 $2 \ SIM（D-1）$ 、サイズ64使って $3 \回3 \回64$ フィルタを、そしてバッチは、正規化畳み込みReLU間に印加されます。（iii）のコンバージョン：最後の層に対応し、サイズのC $3 \回3 \回64$ フィルタの出力を再構成するために使用されます。

結論として、私たちのDnCNNモデルは、2つの主要な機能を備えていますR（y）を学ぶことを学ぶための残差式の使用、およびバルクと組み合わせるには、訓練を加速し、ノイズ除去性能を向上させるために正常化しました。畳み込みと徐々に画像構造が観察されたノイズを分離することによってReLU結合、DnCNN隠れ層による。このメカニズムは、制圧戦略に使用される同様の反復騒音EPLLとWNNM他の方法ですが、訓練への私たちのDnCNNエンドツーエンドのアプローチ。

2.1。残留は残留学習を学びます

：DnCNN残留学習ResNet、ResNetの知識の概要を兼ね備えた、私の他の記事を参照してhttps://www.jianshu.com/p/11f1a979b384を

DnCNN差がショートカット接続は、各2つの層にインクリメントされず、直接純粋画像設け残差画像（残像）にネットワークの出力は、Y = X + Vを仮定し、Yにノイズ画像で、xは、次にVは残像です。それは真の姿残差とネットワーク出力間の出力とネットワークの最適化目標DnCNN（平均二乗誤差）との間にMSEの真の姿ではなく、MSE。

アイデンティティ・マップの間に堆積層、およびアイデンティティ・マップと同等の残留が0である理論的にResNetは、列車の最適化に簡単です。著者らは、（特に小さなノイズレベルの場合）、画像復元、ノイズ及び残差の純粋な写真画像の分野において、非常に小さいので、理論的に残留学習画像復元を使用することは非常に適していることに留意しました。

人気のは、図1にX yをキャンセル元のノイズから実画像の隠れ層にあるそのようなネットワーク設計を話します。と、等価である残像の領域にノイズスーパーサブの分野では、低解像度画像は、3つの高解像度画像の二重サンプリング動作の上に形成されるので、残像の分野における超サブガウス：著者は注意しますフィールドのロックを解除するには、残差を処理してJPEGでの写真があります。また結果であり、三つのモデルへの応答は、最終的には実際に有効であることが証明される可能性に問題があります。

2.2。バッチ標準化されたバッチの正規化

SGD（確率的勾配降下法）が広くCNNとトレーニング方法を用いたが、トレーニングのパフォーマンスはによってかなりの程度までであった内部変位共変量この問題により影響を受けます。BNは、内部シフト共変量を軽減するために非線形処理の標準化、ズーム、シフト動作に先立って、各層に添加します。トレーニングは、より高速、より良いパフォーマンス、それほど大きくないネットワーク変数の初期化に影響をもたらすことができます。

内部共変量シフトは、（内部共変量シフト）、遅い収束トレーニング理由を深さ深まるように、活性化の前に非線形変換入力値として深いニューラルネットワーク、またはトレーニング、分布中のネットワークまたはオフセット変化が徐々に起こります。一般下限の端部付近非線形関数値間隔の全体に徐々に分散、逆にこの結果（シグモイド関数のために、平均値WU + B活性化入力が大きな負または正の値です）下の伝播ニューラルネットワークの勾配は、より多くの遅い収束DNNを訓練するために不可欠な理由である、消えます。

バッチの標準化（バッチ正規化）：いくつかの手段によって正規化され、このニューラルネットワークの任意の要素にそれぞれ強制的に引っ張らバックの入力値の分布ゼロ平均単位分散である標準正規分布は、すなわち、より付勢分布は、活性化入力値が非常に勾配が大きくなることを意味し、入力領域の敏感な非線形関数、損失関数に大きな変化への入力リードにのみ小さな変化を入るように、バックより標準的な分布を余儀なく回避の問題は、勾配が消え、そして勾配が大幅にトレーニングをスピードアップすることができます高速コンバージェンスを学ぶ大きな手段となります。

2.3ネットワークのネットワーク奥行きの深さ

標準の「大規模画像認識のための非常に深い畳み込みネットワーク」の基準とは、DnCNNコンボリューションカーネルサイズが3 * 3に設定し、すべての細胞層を削除しています。

受容野：入力画像レイヤネットワーク領域の出力特性図のサイズは、畳み込みニューラルネットワークをマッピングしました。

画像

とき受容野の計算以下のいくつかの例が、注意すべきであります。

画素層のコンボリューション出力特性図の第一の層の受容野の大きさは、フィルタのサイズに等しいです。
フィルタ層とその大きさと層に関連する全ての工程の前に深い畳み込み受容野サイズ。
、受容野の大きさを算出する画像のエッジの影響を無視する場合、それはパディングのサイズに関わらず、です。

さらに、ストライドの各層の説明に関して、即ち、ストライドが以前のすべての層の積である跨ぎます

前進（I）=ストライド（1）*ストライド（2）* ... *ストライド（I-1）

受容野の大きさに対応した各特徴点特徴マップは、フィルタ層の元のサイズの畳み込みに等しい単一の畳み込みネットワークのための、多層畳み込みネットワーク、層によってれるフィードバックバック層、反復によってネットワーク層上に、すなわち深い畳み込みバック層受容野サイズ元の入力画像受容野サイズを取得し、すべての前のフィルタサイズおよびステップが関係を有する、計算では、画像のサイズはパディングでは無視されます。式を用いて以下のように表すことができます。

R（I）=（R（I + 1） - 1）*ストライド（I）+ C（I）

式中、R（i）は、i番目の層の受容野の大きさを表し、ストライド（i）は、i番目の層のステップを示し、C（i）は、i番目の層をコンボリューションカーネルのサイズを表します。
さらに、活性化関数畳み込みネットワーク層（ReLU /シグモイド/ ...）のためなど、受容野の反復式のように：

R（I）= R（i + 1）の

dはネットワークの層の数である場合DnCNNネットワークのために、ネットワークは、（2D *受容野（2D + 1）であり、 + 1）。DnCNN受容野ネットワークの深さdに関連付けられ、そして畳み込みニューラルネットワークは、受容野効果的なパッチサイズの従来のノイズ除去アルゴリズムと比較することができます。したがって、2D + 1 =有効なパッチサイズに従って、いくつかの基準ノイズ除去アルゴリズムの主流は、リリースDnCNN適切なネットワーク深逆。

DnCNNこれら主流アルゴリズムを克服することができる最小の受容野を選択した場合、有効なパッチサイズの最小のEPLL水平比較は（それがDnCNNを示しているので、最終的に、ノイズレベルが25である場合に、著者らは、参照標準としてEPLL 36 * 36を選択しました非常に高速なハードウェア）。深DnCNNノイズ除去プロセスは、ガウス17、一般的な深さDnCNN 20ノイズ除去作業です。

第三に、実験

著者は、3つの実験を行っています。

コントラストは、残留学習やバッチ正規化効果の回復に、収束の速さ、そして最終的には、2つの相補的であることを証明し、最高のパフォーマンスを達成するために、ネットワークのすべての側面を利用するかどうかに影響します。
ノイズDnCNN-Sを訓練ガウスの特定の程度に応じて、ガウスの可変度に応じてノイズノイズの程度に応じて、DnCNN-Bをトレーニングトレーニング（解像度の様々な程度を含む様々なレベルのガウス雑音、JPEGの異なるレベルは、符号化されました） DnCNN-3比較実験を行うために他のアルゴリズムとの最前線へ。結論：DnCNN-Sが良く、他よりも最高のパフォーマンスを持っていますが、またDnCNN-B性能、証明DnCNN-Bは、ノイズガウスを盲目にする非常に優れた能力を持っています。DnCNN-3、その後DnCNN-3を持っていないことの証明一般化は下品のイメージを回復しました。
中間及び上位レベルに属する速度が良好であり、次のCPU \ GPU環境：実験DnCNNの速度及び他の最先端のノイズ除去アルゴリズム、結論の比較。

記事の転載出所ます。https：//www.jianshu.com/p/3687ffed4aa8