CVPRは2019に発表されました。
コアコンテンツ：Noise2Noiseベースには、この記事では、教師なしビデオブラインドクリーンアップを約束している、と思った：はい、でもノイズのサンプルが必要とされていません。
この記事は、執筆と偉大をまとめて！その導入は非常に思い出に残ります！この短い記事の作品に触発され、関連する作業のノイズ除去の概要は、本論文の作業の概要は非常に滑らかです。
物語
私たちはきれいではない、多くの場合、「クリーン」なイメージを持っています。理想的には、撮像センサからのクリーンなイメージを得ることですが、我々はまた、カメラ内部の流れを処理した後の画像を参照してください。プロセスは、量子化、デモザイク処理、ガンマ補正、圧縮等を含みます。
したがって、ビデオノイズ除去すれば、それはビデオ生成プロセスノイズ、即ち、処理チェーンのいわゆるモデルことを知ることが最良です。
しかしながら、一般的に未知のモデルに困難であり、典型的には、ノイズ信号（信号依存）に関連付けられているこのモデル。
本稿では、著者は、モデルブラインドのフレームのノイズ除去方法で前方のフレームを置きます。
教師なし学習のより良い性能を達成するために、ネットワークは、内DnCNN事前に訓練された微調整です。
オンライン、オフライン：著者らはまた、2つのトレーニングモードを提案します。オンラインモデルでは、ネットワークは、入力ビデオ微調整の前のフレームに応じて実行される、オフラインモードでは、より良いビデオの数、で訓練することができます。
この記事では、ワンショットNoise2Noiseトレーニングやイデオロギー的インスピレーションの対象映像分割方法となっています。ビデオは残りのフレームを分割し、タスクを完了するための最初のフレームでのワンショット、著者の事前訓練されたネットワークセグメンテーションの手段、および微調整ターゲットマークでは、Noise2Noiseで、トレーニングの目標は、同じ画像の2を最小限にすることです雑音バージョンの差があります。この記事では、ノイズ除去するワンショットバージョンを同様であり、クリーンなイメージなし：研修対象として、隣接するビデオフレーム。
紙は言って引用されました：
本研究では、ノイズの特定の種類のため、ビデオノイズ除去の文脈で一つのビデオが十分である、ということを示しています。ネットワークは、データセットとして、ビデオ自体を考慮することにより、単一のノイズの多い映像から訓練することができます。
提案された方法
プロセス
ただ、言った、私たちは事前に訓練されたノイズ除去ネットワークから起動する必要があります。私たちのトレーニングセットは、（ビデオのオンラインモードは、ほんの数フレーム）が小さいためです。また、これはワンショットドローです。
また、当社は、ビデオにおける隣接するフレームが同じ性質うるさい分布の2枚の画像があることを前提としています。しかし、彼らはまだ若干の運動誤差が存在します。この目的のために、我々は、オプティカルフローテレビ-L1 [46,37]を使用しました。動き補償方法は非常に高速です。補償バイリニア補間。どうやら2つの前提があります。
隣接するフレームの独立した雑音分布。
フレーム動き補償及び参照フレームの潜像は、クリーンで一貫しています。
また、私たちは、避難所には、ブラインドフィルム（オクルージョンマスク）を設定を検討してください。光が大きい場合、我々は、遮光膜が点とそうでない場合は0であり、閉塞が現れ検討分散度：我々は、[4]の簡単な方法を用います。
最後に、我々は計算に含まれないシェルターの損失を計算します。その損失は、遮光膜を乗じた元の損失に等しいです。
著者は、使用しています\（L_1 \）の損失を。最初に、機能の喪失は基づいてノイズの特性を選択します。しかし、未知あるいは複雑な例ノイズ特性で、最も直接的な方法は次のとおりです。1つのテストずつ、最高を選択してください。選択上の\（L_1 \）ので、より性能の、\（L_2 \）よりよい[50]、それはポアソン過程、JPEG圧縮、および他の低周波ノイズを含むことができます。
トレーニング
オンライン次のトレーニングは、私たちはビデオ全体を反復します。トレーニング目標はある\（L_1 \）損失、いくつかの繰り返し。
ときにオンライントレーニング、私たちは、フレームごとに訓練します。ビデオ再生では、反復はより多くなりますフレーム。これは、ビットが[47]の生涯学習の考え方に合わせます。
我々はまた、反復のための二重のトレーニングデータを取得するために、逆方向の動き補償を変えることができることに注意してください。
実験
実験ネットワークは、事前に訓練を使用し、標準偏差はAWGNトレーニングDnCNNで25です。
この記事では、最初のビデオのノイズ除去作業でブラインドがあります。そのため、著者とノイズクリニック、VBM3DとDnCNNを比較しました。
示されるように、最初の問い合わせは、AWGN 25下の性能の標準偏差です。この時点でDnCNNにかかわらず、提案方法の態様の、正常に見えるDnCNNに匹敵します。
第二に、我々は50 AWGNの標準偏差の下での性能を探ります。この時点で、DnCNN性能辛い目、および提案された方法は、徐々に微調整により優れたものとなる傾向にあります。
ガウス混合、関連する、塩、コショウ、JPEGノイズ：加えて、我々はまた、他のノイズを検討しました。効果はブラインドノイズ除去としては本当に良い香りです！：
2つのモードの主な違い：オフラインモードでは、より安定し、より少ない分散されます。
過剰平滑になる傾向があるとして提案された方法とDnCNN：発見もあります。他のビデオノイズ除去方法への事前研修ネットワークをより忠実であるならば、この問題が改善される場合があります。