紙のメモ：カーネルの予測ネットワークとバーストノイズ除去

前書き

これは、Google UCバークレー校の研究CVPR2018が複数の画像ノイズ除去論文を発表しています。ネットワーク構造を提案しているCNNは、空間的に各カーネルローカル登録及び画像ノイズの得られた位置を使用して、変化するコア（核）を予測することができます。物品真グラウンドノイズ発生極小に陥る回避するために、最適化プロセスを導くために、モデル画像とオフセットプラス雑音、真実合成トレーニングデータ、及びアニーリング損失関数に基づきます。
本論文の主な貢献は、以下のとおりです。

• インターネット上で得られた画像を処理した後、データは、線形特性を有するRAW画像に変換されます。これは、実際のイメージと環境に一般化することができるトレーニングモデルは、アクセスできないグランドトゥルースデータの問題を解決します。
• ネットワーク構造を提案し、合成して、実際のデータにその性能は現在のレベルよりも優れています。各位置は、ノイズ除去済み画像を生成することは、3D核ノイズ除去を生成することができます。
• ネットワークは、フィルタカーネル複数の画像を予測するために情報を使用できるように、我々は、画像間の未知のオフセットがあっても、予測コアネットワークのトレーニングのための方法を提案します。
• 訓練および試験中実証、入力として入力画像ネットワークのノイズレベルは、ネットワークは、ノイズレベルの広い範囲にロバスト与えます。

問題の仕様

記事の目的は、手持ちカメラにより取得された複数のノイズ画像を有することであり、次いで「クリーン」画像を生成します。
情報の損失を回避するために、すべての入力は、画像処理フローなし、リニアRAW画像空間です。

RAWデータ特性

主に二つの側面からRAWノイズデータ：

• ショットノイズ：これポアソン分布、分散及び信号レベルに等しくなります。
• ほぼガウス分布、センサによる影響の多様によって読み出される：ノイズを読み出します。

信号依存雑音をモデル化ガウス分布とすることができます。

バツP〜N（とP、P2R+ PSとP）XP〜N（YP、SR2 + ssyp）

その中でも、バツPXPはピクチャ毎に固定されている、それだけでISOの変更に伴って変化します。

トレーニングデータの合成

オフセットとノイズ合成トレーニングデータの適切な導入の画像を使用したオープン画像データセットの記事、画像シーケンスの実際の特性をシミュレートします。
Nフレームの画像シーケンスを生成する、画像生成を用いて、N個の用紙が存在するランダムオフセットとの間のフレームをクロッピング、画像をトリミングD私[デルタ] I。ノイズモデル画像シーケンスを使用してノイズを付加。

モデル

基準フレーム「クリーン」バージョンを生成、画像シーケンス、平均、ノイズ除去を登録中核予測ネットワーク（KPN）画素分の画素は、フィルタカーネルを生成します。
KPNは、エンコーダ・デコーダの構造を使用して接続を省略しています。それは持っていますK2NK2N

その中でも、VP（X私）VP（西）

その中でも、バツPXPが知られています。

基本的な損失関数

出力輝度正規化と変換を行うsRGBのガンマ補正を適用しません。損失関数は次のように定義されています

（Y^、そして、*）= L2∥ ガンマ（Y^）、- C （Y*）∥22+ L1∥ ∇ ガンマ（Y^)−∇Γ(Y∗)∥1l(Y^,Y∗)=λ2‖Γ(Y^)−Γ(Y∗)‖22+λ1‖∇Γ(Y^)−∇Γ(Y∗)‖1

其中，λ1λ1

不直接使用gamma校正函数XγXγ趋于0时其梯度趋于无穷。

退火损失项

直接优化损失函数会收敛于局部最小值（只有参考帧核非零，其余核都变为0）。为了使得网络能充分利用其它帧的信息，文章使用退火策略，在初始时刻，使得输出的核能对图像序列中的每一帧分别配准和降噪，然后再利用各帧之间的信息做加权叠加。
应用核f1,...,fNf1,...,fN

其中，ββ，需要迭代40000次才能使得第二项消失。KPN会被预先训练对每一帧图像分别配准和降噪，然后再处理整个序列。

Experiments

实验参数

优化方法：ADam；学习率：10−410−4。

比较方法

NLM、HDR+、VBM4D；
KPN（提出的方法）、
direct model（将KPN后接3个卷积层，直接输出去噪图像）；

合成测试集结果

合成测试集来自于Canon 5D Mark II DSLR拍摄的73张线性RAW数据。这些图片在白天用低ISO拍摄，使得噪声最小化，并且刻意欠曝避免截止高亮区域。将这些RAW数据每2×22×2像素的偏移有很好的矫正，故设定在3-5%迭代次数后，将退火项设为0.

より高いノイズレベルに一般化

物品実験、ネットワークを訓練するための入力としてノイズレベル推定値では、ネットワークを効果的に高いノイズレベルに一般化することができます。図から分かるように、ネットワークの性能にほとんど影響として入力ノイズレベル推定値の雑音範囲有無のトレーニングセット、ネットワーク等のトレーニングセット外ノイズレベルは、より呂なり、入力のノイズレベル推定値を有していますのスティック。

さらに、ノイズレベル推定は、強度パラメータ調整デノイズネットワークとして入力してもよいです。実際の雑音レベルより入力されたノイズレベルより低い場合、図から分かるように、ノイズ除去保守的ネットワーク、参照フレームのより多くの情報を使用する傾向があることができるように、入力のノイズレベルが実際の雑音レベルよりも高い場合、ネットワークは、より傾斜しています空間情報、及び複数フレームの画像情報の普及に、出力画像も滑らかです。

実際のデータのテスト結果

使用ネクサス6Pは、このような暗電流の除去、阻害ピクセルデッドピクセル、およびグローバル登録など暗いシーンで得られた生データ、および単純な後処理を捕獲しました。結果から分かるように、KPNはまだ良いパフォーマンスを維持することができます。

コードアドレス：GitHubのアドレス（ある場合のみ研修ネットワークコード）