「位置地図回帰ネットワークとの共同3D顔復興高密度整列」 - 紙の研究ノート「ネットワーク集約型のアライメントに位置マップとリターンに基づいて3次元顔面再建」
質問1：3次元顔の再建とは何ですか？
2D画像の1枚以上のシートから再構築3次元顔モデル。
質問2：3D顔モデル？
M =（S、T）：このような発現は、3次元顔モデルをモデル化するために使用することができます 。
ここで、Sは、X、Yを含む、形状ベクトル（形状ベクトル）の顔の3D座標を表し、Z座標情報：
N-本明細書にモデルの頂点の数を指し、Tは、点（テクスチャベクトル）に対応するテクスチャ情報ベクトルを表します含むR、G、Bの色情報：
3D面が2次元平面上に投影される.2D顔画像がMの2D投影のI代表、表示することができ、I（U、V）代表画素（u、v）と3次元顔復元は、2次元画像Mから推定算出される、でテクスチャ値：M =（S、T）は、
顔モデルを表す：
あり、mは、収集人の顔サンプルの数です。
上記の線形の組み合わせ、顔サンプルの数が大きく、試料の特性との相関はそれほどPCA（主成分分析）方法のため、があります。
質問3：テクスチャ情報？
分類：幾何学的なテクスチャカラーテクスチャおよび
カラーテクスチャ：色の変化又は異なるテクスチャの様々な詳細を示すためにシェーディング
幾何学的なテクスチャ：テクスチャ色と陰影だけでなく、また、凹部の
方法：
質感（テクスチャ）：マッピングによって三次元物体の表面に割り当てられた11個の画素のテクスチャパターン。
テクスチャ関数：テクスチャパターンによって生成された数学的関数は、関数は、スクリーン上に生成された市松模様のように、表面に直接マップ。
テクスチャマッピング（テクスチャマッピング）：デジタル技術によって、またはテクスチャパターンカバー3つのマップまたは物体面に投影は、処理対象表面のディテールを増加させます。
思考テクスチャマッピング：テクスチャ空間（U、V）は、3次元物体の表面（S、T）の座標との間のマッピング関係を座標を見つける必要性が、パラメータ値は、対応するテクスチャ空間座標の色（R、Gに対応しますB）は、三次元物体の表面上になるように、得られた三次元物体の表面色テクスチャの詳細をマッピングしました。
質問4：UV（UVテクスチャマッピング座標は）何ですか？
UVは、すべての2次元である画像ファイルの座標平面を指します。水平方向U、垂直方向Vは、この平面を介して、二次元UV座標は、我々は、任意のピクセルに画像を配置することができます。
ポリゴン面上のテクスチャマップを配置するように、ポリゴンに画像ファイルと対応上のポリゴンのピクセルの頂点のUV座標を余分にテクスチャを導入します。そうポリゴンの頂点に加えて、三次元空間座標だけでなく、二次元UV座標を有します。テクスチャマッピングのために、値UおよびV座標の範囲のテクスチャーは0-1です。
各点は点やソフトウェアによる画像点滑らかな補間処理の位置との間の面間隔に被写体像のモデルに正確に紫外線相当する。これは、UVマッピングと呼ばれている。
開発に加えて、展開平面領域メッシュ表面は、他の面では、展開した後、いくつかの歪みが生成されます。歪んだ二つの一般的ながあります。一つは、それ自体によって決まる幾何学曲線であり、そのような球体面を拡大するように、ねじられます。所定の位置に歪みの表面割線大度を高めることができ、展開歪みの度合いを減らしたいです。別の制約は、UVなどの生成された拡張アルゴリズムを、ねじられた固定境界を拡大しました。歪アプローチの程度の視覚的な観察は、より均一なチェッカーボード、UV少ない歪みを展開し、グリッドに取り付けられたチェッカーボード画像に、拡張されます。
質問5：顔集約型のアライメント？
顔アライメント点（これも人の顔の形状のような）顔画像事前定義された顔の探索と見なすことができ、典型的には、形状の概算から出発して、形状推定を反復することによって精製されます。顔は目、口、鼻の主なアラインメントに直面するとあごが特徴点でマークされ、検出されました。
顔も（検出）人の顔の特徴として知られている位置合わせ、手動でポイントを指定するために定期的な必要性を有する位置、およびヒト入力面にマークされたポイントに応じて、特徴点の分布。
アプリケーション：1>位置決め機能; 2>表情認識; 3>漫画顔、生成スケッチ; 4> AR; 5>面移植; 6> 3Dモデリング。
チャレンジ：大きなジェスチャー、誇張された顔の表情、日陰、避難所、シーンやその他の問題を変更します。
スパース顔ALIGN：5、34または68の特徴点、
集中顔ALIGN：特徴点の数千。
質問6：顔のポーズは何ですか？
姿勢（ピッチ、ヨー、ロール）逆さまを表す角度の三種類は、左右面内回転角、反転します。
顔姿勢推定方法：イメージをテストするためのモデル「三次元特徴点」までの三次元回転標準モデル角、「2次元投影」、および特徴点（画像上の特徴点が明確に2次元である）遠く可能一致する限り。
非線形最小二乗法は、以下のモデル式モデル化するために使用することができる：
顔ポーズ3の回転角度の特徴、（α、β、γ）代表的に、Nは、チー、人物の顔の特徴点校正の数を表します。代表的な三次元パイユニバーサル標準モデルの特徴点、回転行列Rの担当者に対応し、試験すべき顔の特徴点を表し、tは、空間オフセットベクトルであり、Sは延伸の要因です。次のようにRは、三の行列乗算の具体的な形態です。
質問7：3次元変形モデルである3次元モーフィングモデル（3DMM）？
対応するモデルパラメータの変更に関連してモデルと、新たな顔画像が与えられ、平均顔データベースモーフィング可能なモデルを構築する顔画像マッチングアルゴリズムを使用することで一般的な考え方は、モデルが変形されるまで人間の顔の画像間の違いは、顔のモデリングを完了するための調整を最適化するために、最小化、そして質感です。
質問8：透視投影？
在计算机三维图像中，投影可以看作是一种将三维坐标变换为二维坐标的方法，常用到的有正交投影和透视投影。正交投影多用于三维建模，透视投影则由于和人的视觉系统相似，多用于在二维平面中对三维世界的呈现。
透视投影（Perspective Projection）是为了获得接近真实三维物体的视觉效果而在二维的纸或者画布平面上绘图或者渲染的一种方法，也称为透视图。它具有消失感、距离感、相同大小的形体呈现出有规律的变化等一系列的透视特性，能逼真地反映形体的空间形象。透视投影通常用于动画、视觉仿真以及其它许多具有真实性反映的方面。
问题9：什么是3D Thin Plate Spline(TPS) transformation？
TPS是一种插值方法，它寻找一个通过所有的控制点的弯曲最小的光滑曲面；就像一个薄铁板，通过所给定的几个“样条”（比如木条），铁板表面是光滑的。弯曲最小由一个能量函数定义，就是wiki上的那个双重积分。
问题10：什么是深度值（depth value）？
深度其实就是该象素点在3d世界中距离摄象机的距离（绘制坐标），深度缓存中存储着每个象素点（绘制在屏幕上的）的深度值！
深度值（Z值）越大，则离摄像机越远。
深度值是存贮在深度缓存里面的，我们用深度缓存的位数来衡量深度缓存的精度。
问题11：什么是语义信息（semantic meaning）？
图像的语义分为视觉层、对象层和概念层，视觉层即通常所理解的底层，即颜色、纹理和形状等等，这些特征都被称为底层特征语义；对象层即中间层，通常包含了属性特征等，就是某一对象在某一时刻的状态；概念层是高层，是图像表达出的最接近人类理解的东西。通俗点说，比如一张图上有沙子，蓝天，海水等，视觉层是一块块的区分，对象层是沙子、蓝天和海水这些，概念层就是海滩，这是这张图表现出的语义。
问题12：定性分析与定量分析？
定性分析就是对研究对象进行“质”的方面的分析。具体地说是运用归纳和演绎、分析与综合以及抽象与概括等方法，对获得的各种材料进行思维加工，从而能去粗取精、去伪存真、由此及彼、由表及里，达到认识事物本质、揭示内在规律。定量分析：对社会现象的数量特征、数量关系与数量变化的分析。其功能在于揭示和描述社会现象的相互作用和发展趋势。定性——用文字语言进行相关描述；定量——用数学语言进行描述。
问题13：编解码网络（Encoder-decoder network)？
Encoder-Decoder并不是一个具体的模型，而是一类框架。Encoder和Decoder部分可以是任意的文字，语音，图像，视频数据，模型可以采用CNN，RNN，BiRNN、LSTM、GRU等等。所以基于Encoder-Decoder，我们可以设计出各种各样的应用算法。
Encoder-Decoder框架有一个最显著的特征就是它是一个End-to-End学习的算法，所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。
问题14：End-to-end（端到端）学习？
非端到端：相对于深度学习，传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理（Natural Language Processing）问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果，这是非端到端的。
端到端：而深度学习模型在训练过程中，从输入端（输入数据）到输出端会得到一个预测结果，与真实结果相比较会得到一个误差，这个误差会在模型中的每一层传递（反向传播），每一层的表示都会根据这个误差来做调整，直到模型收敛或达到预期的效果才结束，这是端到端的。
两者相比，端到端的学习省去了在每一个独立学习任务执行之前所做的数据标注，为样本做标注的代价是昂贵的、易出错的。
问题15：UV position map（UV位置贴图）？
作用：1.记录完整人脸点云的3D坐标；2.在每个UV位置保留了语义。
性质：2D图像
问题16：Weight mask（权值面具）？
作用：为位置映射图上的每个点分配不同的权重，并计算加权损失。
优点：有助于提高网络性能。
问题17：什么是FPS？
FPS是图形领域中的定义，指的是每秒传输帧数，通俗来讲就是指动画或视频的画面数。FPS是测量用于保存、显示动态视频的信息数量。
问题18：什么是重采样（re-sample）？
重采样：就是根据一类象元的信息内插出另一类象元信息的过程。在遥感中，重采样是从高分辨率遥感影像中提取出低分辨率影像的过程。
常用的重采样方法有最邻近内插法（nearest neighbor interpolation）、双线性内插法（bilinear interpolation）和三次卷积法内插（cubic convolution interpolation）。其中，最邻近内插法最为简单，计算速度快，但是视觉效应差；双线性插值会使图像轮廓模糊；三次卷积法产生的图像较平滑，有好的视觉效果，但计算量大，较费时。
问题19：残差网络（Residual Networks, ResNets）？
误差是衡量观测值和真实值之间的差距，残差是指预测值和观测值之间的差距。
实验表明，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。
核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加网络深度，来提高网络性能。
参考博客：
https://www.cnblogs.com/wuliytTaotao/p/9560205.html
https://www.cnblogs.com/alanma/p/6877166.html
https://zhuanlan.zhihu.com/p/42706477
问题20：转置卷积层？
转置卷积层（transposed convolution layer）又称反卷积层或分数卷积层，可用于用于恢复减少的维数（上采样）。转置卷积层我们就会用stride小于1的卷积进行上采样，使输出的size变大。
问题21：三角网格(Triangle Mesh)？
三角网格是多边形网格的一种，多边形网格又被称为“Mesh”，是计算机图形学中用于为各种不规则物体建立模型的一种数据结构。现实世界中的物体表面直观上看都是由曲面构成的；而在计算机世界中，由于只能用离散的结构去模拟现实中连续的事物。所以现实世界中的曲面实际上在计算机里是由无数个小的多边形面片去组成的。比如下图的这些模型，在计算机渲染后由肉眼看是十分平滑的曲面，而实际上，计算机内部使用了大量的小三角形片去组成了这样的形状。这样的小面片的集合就被称作Mesh。Mesh既可以由三角形组成，也可以由其他平面形状如四边形，五边形等组成；由于平面多边形实际上也能再细分成三角形。所以，使用全由三角形组成的三角网格（Triangle Mesh）来表示物体表面也是具有一般性的。
参考博客：
https://blog.csdn.net/datase/article/details/72704584
问题22：OBJ文件？
OBJファイルは別名である|標準の「高度なビジュアライザ」そのワークステーションベースの3Dモデリング、アニメーションソフトウェアの波面会社セットそれは3Dソフトウェアモデル間の相互コンダクタンスに適しており、3Dモデルファイル形式を開発しました。
（1）OBJファイルは、3Dモデルファイルです。これは、アニメーションの情報、材料特性、ルートマップ、ダイナミクス、パーティクルなどが含まれていません。
（2）OBJファイルは、主に多角形（ポリゴン）モデルをサポートしています。支持曲線（カーブ）、表面（サーフェス）、点群材料（ポイントグループ材料）が、MayaがOBJファイルをエクスポートし、そのような情報が含まれていないが。
（3）OBJファイル支持面つ以上のポイントが、それが有用です。他の多くのモデルファイル形式がサポートマヤへのモデルは、多くの場合、三角、そしてこのモデルは再処理に、私たちにとって非常に不利であるされているので、表面の3点のみ、。
（4）OBJファイル支持法線及びテクスチャ座標。他のソフトウェアでマップを調整した後、マッピング座標情報には、単にファイルの行にMayaのマップファイルのパスをインポートした後、あなたはマッピング座標を調整する必要はありませんかを指定、OBJファイルに保存することができます。
質問23：記事イノベーション
それはUV空間で完全な3次元顔形状を記録した後、UVの場所へのニューラルネットワークのコンボリューション・リターンは、2D画像からマップする訓練を受け、場所をマッピングUVと呼ばれる2D表現を設計し、マスクの減量機能に統合されますトレーニング中のネットワークのパフォーマンスを向上させます。任意の顔モデルに依存しない方法では、我々は3次元顔と保持意味情報を再構築することができます。
