私たちは日常生活の中で、一昔前は復元できなかった画像のぼやけに遭遇することがありますが、PS で修復しても変形や差異が生じますが、現在では AI によって視覚的に見えなくなった顔を正確かつ完全に復元できるようになりました。
1. 概要
通常、ブラインドフェイスは、現実と実際の詳細を復元するために、事前の顔のジオメトリや事前の参照などの顔の事前情報に依存します。ただし、高品質の参照にアクセスできない場合、非常に低品質の入力では正確な幾何事前分布を提供できず、現実世界のシナリオでの適用性が制限されます。
したがって、一部の研究者は、事前に訓練された顔 GAN にカプセル化された豊富で多様な事前分布をブラインド顔の回復に使用する GFP-GAN を提案しました。Generative Facial Prior (GFP) は、新しいチャネル分割空間特徴変換レイヤーを介して顔修復プロセスに組み込まれており、新しい方法でリアリズムと忠実度の適切なバランスを実現できます。強力な GFP と洗練された設計により、GFP-GAN は 1 つのパスで顔の詳細を共同復元し、色の強調を行うことができますが、GAN 反転手法では推論時に高価な画像固有の最適化が必要になります。広範な実験により、新しい方法は合成データセットと実際のデータセットの両方で最先端の方法よりも優れたパフォーマンスを達成することが示されています。
2. まずは効果を知る
この研究では、研究者らは現実世界でのブラインドフェイスの回復に GFP を活用しています。つまり、事前学習は、StyleGAN などの事前トレーニングされた敵対的生成ネットワーク (GAN) モデルに暗黙的にカプセル化されています。これらの顔 GAN は、高度なバリエーションを備えた忠実な顔を生成できるため、ジオメトリ、顔のテクスチャ、色などの豊富な事前分布を提供し、顔の詳細を共同で復元し、色を強調することが可能になります (図に示すように)。その上）。
ただし、このような生成事前分布を復元プロセスに組み込むのは困難です。以前の試みでは通常、GAN 逆変換が使用されていました。まず、劣化した画像を事前トレーニングされた GAN の潜在コードに「反転」し、次に高価な画像固有の最適化を実行して画像を再構築します。視覚的にリアルな出力にもかかわらず、低次元の潜在コードが正確な復元を導くには不十分であるため、忠実度の低い画像が生成されることがよくあります。
3. 新しい枠組み
GFP-GANフレームワークの概要: これには、劣化除去モジュールと、顔の事前トレーニングとして事前にトレーニングされた顔 GAN が含まれています。これらは、潜在コード マッピングといくつかのチャネル分割空間特徴変換 (CSSFT) レイヤーで構成されます。提案された CS-SFT 変調は、良好な忠実度と忠実度のバランスを実現します。トレーニング中、1) ピラミッド復元ガイドを使用して現実世界の複雑な劣化を除去し、2) 顔コンポーネントの損失と認識機能を使用して顔の詳細を強化し、3) アイデンティティ維持損失を使用して顔の同一性を保持します。
トレーニングデータ
これまでのほとんどの作業と同様に、GFP-GAN は合成データのトレーニング方法を使用します。研究者らは、妥当な範囲の合成データをトレーニングすると、実際の顔のほとんどをカバーできることを発見しました。GFP-GAN のトレーニングでは、古典的な劣化モデルを採用します。つまり、最初にガウス ブラー、次にダウンサンプリング、次にノイズを追加し、最後に JPEG 圧縮を使用します。ワオソフト アイオット http://143ai.com
4. 実験と効果の可視化
Synthetic の定量的指標の観点から, 本研究で提案した手法は LPIPS, FID, NIQE において最良の結果を達成することができる. Deg. は顔認識モデル ArcFace のコサイン距離を指す. 値が小さいほど同一性も高いことを示す非常によく維持されています。
