図 2 は、野生の顔画像から正規化されたテクスチャ UV マップを生成するプロセスを示しています。これには主に、StyleGAN に基づく顔画像編集、顔 UV テクスチャ抽出、UV テクスチャ補正と完成の 3 つのモジュールが含まれています¹。
- StyleGANに基づく顔画像編集モジュールの目的は、単一の入力画像から多視点の正規化された顔画像を生成することです。つまり、照明、表情、姿勢などの変化を排除して、標準化された正面顔を取得することです。画像。このモジュールは、StyleGAN の隠蔽空間コーディングと微分可能レンダリング技術を利用し、入力画像の隠蔽コーディングと 3D ポーズ パラメーターを最適化して、レンダリングされた顔画像を入力画像にできるだけ近づけます。そして、照明、表情、姿勢などの属性に対応する隠しコードの部分を変更することで、異なる視野角、異なる照明、中立的な表情の正規化顔画像¹ が生成されます。
- 顔 UV テクスチャ抽出モジュールの目的は、正規化された顔画像から対応する UV テクスチャを抽出することです。このモジュールは、フィッティングされた 3D 顔モデル (Basel Face Model など) を使用し、それを正規化された顔画像に投影し、各ピクセルに対応する UV 座標を取得します。次に、UV 座標に従って、正規化された顔画像のカラー値が 2 次元平面にマッピングされ、予備的な UV テクスチャ¹ が取得されます。
- UV テクスチャ修正および完了モジュールの目的は、ノイズ、アーティファクト、ギャップ、およびその他の問題を除去するために、予備 UV テクスチャをさらに最適化および修復することです。
このうち「アーティファクトコレクト」は「検出されたアーティファクトマスク」を使用します。
「検出されたアーティファクト マスク」は、論文で UV テクスチャを修正するために使用される補助入力です¹。その役割は、UV テクスチャ内のどの領域に欠陥が発生しやすく、修正が必要かを示すことです¹。これは UV テクスチャと同じ寸法のバイナリ イメージで、値 1 のピクセルは欠陥領域を表し、値 0 のピクセルは正常領域を表します¹。
「アーティファクト コレクト」は、UV テクスチャの顔領域を修正するために使用される GAN ベースのネットワーク構造です¹。ジェネレーターへの入力は予備的な UV テクスチャと「検出されたアーティファクト マスク」であり、出力は修正された UV テクスチャ¹ です。生成装置のネットワーク構造は U-Net です。
「ピラミッド ブレンド」は、UV テクスチャの最終合成を行うために論文で使用されるステップです¹。その役割は、「アーティファクト コレクト」と「テンプレート テクスチャ UV マップ」をスムーズにブレンドして、最終的な UV テクスチャ¹ を取得することです。