この論文では、追加のガイダンスやフリッカーの知識を必要とせずに、さまざまなフリッカー アーティファクトを除去できる、最初の汎用のフリッカー除去方法の提案に成功しました。
通常、高品質のビデオは時間的に一貫していますが、多くのビデオはさまざまな理由でちらつきます。たとえば、一部の古いカメラ ハードウェアの品質が低いため、各フレームの露光時間を同じに設定できないため、古い映画の明るさが非常に不安定になることがあります。さらに、露出時間が非常に短い高速カメラは、屋内照明の高周波 (60 Hz など) の変化を捉えることができます。
ちらつきは、画像強調、画像の色付け、スタイル転送などの効率的な処理アルゴリズムなど、画像アルゴリズムが時間的に一貫性のあるビデオに適用されるときに発生する可能性があります。
ビデオ生成方法によって生成されたビデオには、ちらつきアーティファクトも含まれる場合があります。
時間的に一貫性のあるビデオは視覚的に魅力的であることが多いため、ビデオからちらつきを除去することは、ビデオ処理や計算写真の分野で非常に一般的です。
この CVPR 2023 ペーパーは、(1) さまざまなフリッカー モードまたはレベル (たとえば、古い映画、高速度カメラで撮影されたスローモーション ビデオ) に対して高度な一般化を行う、一般的なフリッカー除去方法に特化しています。ちらつきビデオとその他の補助情報なし (例: ちらつきタイプ、時間的に一貫性のある追加のビデオ)。この方法はあまり多くの仮定を行わないため、幅広いアプリケーション シナリオがあります。
論文のタイトル:
欠陥のあるアトラスを使用したニューラル フィルタリングによるブラインド ビデオ デフリッカリング
論文リンク:
https://arxiv.org/pdf/2303.08120.pdf
コード リンク:https://github.com/ChenyangLEI/All-in-one-Deflicker
プロジェクト リンク:https://chenyanglei.github.io/deflicker
1.方法
一般的なちらつき除去方法は、追加のガイダンスなしにビデオ全体で時間的な一貫性を確保することが難しいため、困難です。
既存の技術は通常、まばたきの種類ごとに特定の戦略を考案し、特定の知識を使用します。たとえば、以前の研究では、高速度カメラでキャプチャされたスローモーション ビデオの照明周波数を分析できました。画像処理アルゴリズムによって処理されたビデオの場合、ブラインド ビデオの時間的一貫性アルゴリズムは、時間的に一貫性のある未処理のビデオを参照として使用して、長期的な一貫性を得ることができます。ただし、フリッカーの種類や未処理のビデオが常に利用できるとは限らないため、この場合、既存のフリッカー固有のアルゴリズムを適用することはできません。
直感的な解決策は、オプティカル フローを使用して通信を追跡することです。ただし、フリッカー ビデオから得られるオプティカル フローは十分に正確ではなく、オプティカル フローの累積誤差もフレーム数とともに増加します。
著者らは、2 つの重要な観察と設計を通じて、追加のガイダンスなしで汎用のフリッカー除去方法を提案することに成功しました。これにより、さまざまなフリッカー アーティファクトを除去できます。
優れたブラインド デフリッカー モデルには、すべてのビデオ フレーム間の対応するポイントを追跡する機能が必要です。ビデオ処理のほとんどのネットワーク構造は、少数のフレームしか入力として取り込めないため、受容野が小さくなり、長期的な一貫性を保証できません。研究者は、神経アトラスがちらつき除去タスクに非常に適していることを観察したため、このタスクに神経アトラスを導入します。ニューラル アトラスは、ビデオ内のすべてのピクセルの統一された簡潔な表現です。図 (a) に示すように、p をピクセルとし、各ピクセル p をマッピング ネットワーク M に入力します。マッピング ネットワーク M は、アトラス内のピクセルの対応する位置を表す 2D 座標 (up、vp) を予測します。理想的には、入力ピクセルの色が異なっていても、異なるフレーム間の対応するポイントがアトラス内のピクセルを共有する必要があります。つまり、これにより時間の一貫性が保証されます。
第 2 に、共有レイヤーから得られるフレームは一貫していますが、画像の構造に欠陥があります: ニューラル レイヤーは大きな動きのある動的オブジェクトを簡単にモデル化できません; レイヤーを構築するために使用されるオプティカル フローは完全ではありません。したがって、著者らは、欠陥のある層から良い部分を選択するためのニューラル フィルタリング戦略を提案しています。研究チームはニューラル ネットワークをトレーニングして、レイヤー内のアーティファクトとビデオ内のちらつきをそれぞれシミュレートする 2 種類の歪みの下で不変性を学習させました。テスト時には、ネットワークはフィルターとしてうまく機能し、一貫性のあるプロパティを維持し、欠陥のあるレイヤーのアーティファクトをブロックします。
2.実験
研究者は、実際のちらつきのさまざまなビデオを含むデータセットを構築しました。広範な実験により、私たちの方法が複数のタイプのちらつきのあるビデオに対して満足のいくちらつき除去効果を達成することが示されています。私たちのアルゴリズムは、公開ベンチマークに関する追加のガイダンスを使用して、ベースライン メソッドよりも優れています。
(a) 処理されたフリッカー ビデオと合成フリッカー ビデオの定量的比較を提供します. 私たちの方法の変形エラーは、ベースラインのそれよりもはるかに小さいです. PSNR によると, 私たちの結果も合成データで実際の値に近づいています. 他の実世界のビデオについては、この調査では (b) 比較のために二重盲検実験が提供されており、ほとんどのユーザーは研究者の結果を好みます。
上の図に示すように、研究者のアルゴリズムは入力ビデオのちらつきを非常にうまく除去できます。写真の 3 番目の列は神経層の結果を示しており、明らかな欠陥が観察される可能性がありますが、研究者のアルゴリズムはこれらの欠陥を導入することなくその一貫性を有効に活用できます。
このフレームワークは、古い映画や AI によって生成されたビデオに含まれるさまざまなカテゴリのちらつきを除去できます。
著者: レイ・チェンヤン
出典：機械の心臓部
IconScout の IconScout Store によるイラスト
-終わり-