ヒトのポーズ推定のための自己敵対訓練
公式コード：pytorch
1.開始点
身体の閉塞や渋滞や他の現象、正確な推定は、このようなケースでは解決することは困難である、人間の身体の姿勢推定の既存のネットワーク、およびこのような現象なので、通常の体の姿勢、本来の人間の損失を満たしていないネットワークキーポイントの見積もりにつながることができますフォーム。最初の行に比べて、図ピクチャの2行目に示すように、例えば、接合部という事実に反するがあることは明らかです。筆者も、輻輳状態で、予測ネットワークキーはまた、構造体の関節の固有に沿ったものであることことを願って。この問題を解決するために生成された対立を使用して、この提案の方法に基づいています。
対立のネットワーク構造は2
従来モデルと同様GAN、モデルは、本明細書に記載さは、二つのネットワークに分割され、識別器が生成されます。最初のネットワークを生成することは、各スコアに対する各臨界点の位置を示すヒート図信頼レベルのセットを得るために、前者の計算に発電機を介して、畳み込みネットワークです。第2のネットワーク識別器、同じアーキテクチャを有する発電機が、図は、RGB画像入力と一緒に符号化され、図の熱の新しいセットにそれを復号し、真と偽図サーマル図熱を区別するために加熱します。図に示すように、提案されたネットワークに対する結果以来。、弁別器は、最終的な時に推論する前に行うために重要なポイントで、全体的な結果から除外されます。
3.ジェネレータ
発電機の主な役割は、人間の体の重要なポイントに正確な情報を生成することです。もちろん、リング対立を生成するように、最も重要な関数発生器は、現在のキーのGTまたはヒートマップを区別できない判別を行うことがジェネレータによって生成され、キーポイントが判別最終欺瞞を生成することができます。したがって、図示のように、二つの部分、識別器から損失Ladvに対してジェネレータとLmseから、すなわち逆伝搬損失によって最適化された列発生器。
全体的な損失、以下のように、式（1つの）損失Lmse目的は、近い最終ラベルを生成することができる本体鍵生成器を作ることです。式対決損失Ladv 2は、目的は最終的に、より合理的な態度でラインで生産キージェネレータの損失との戦いを作ることです。より露骨、Ladvの目的は、発電機のスプリアス図ばか弁別器で発生した熱を可能とすることができるようなもので、それは偽を区別することができず、GT熱は熱図を図。対立を生成するプロセスは、ここで反射されます。式3に示す発電機の最終的な損失の使用を最適化します。ラムダは、スーパーパラメータです。
4.鉴别器
鉴别器的目标是区分输入进来的热图是GT还是生成器生成的虚假热图。鉴别器最终的训练目标就是能够把生成器生成的数据竟可能和GT区分出来。从而和生成器形成一个对抗博弈的过程。因此，如下图所示，训练鉴别器时，其通过两部分进行优化，分别为反向传播来自鉴别器的损耗Lreal和来自鉴别器的损耗Lfake。
整体的loss如下所示，公式（4.1）表示将GT热图输入鉴别器得到编码后的新热图，并计算新热图和GT热图的距离，进行Lreal损失计算。公式（4.2）表示将生成器生成的虚假热图输入鉴别器得到编码后的新热图，并计算新热图和生成器生成的虚假热图之间的距离进行Lfake损失计算。正如前述提到过的，鉴别器的目的是尽可能的将虚假热图和GT热图区分开来，也就是说鉴别器希望GT热图输入后的输出重构热图尽可能和GT接近，希望虚假热图输入后的输出重构热图尽可能和虚假热图不同。从loss上来说就是希望Lreal越来越小，希望Lfake越来越大。基于此，鉴别器的loss如公式（4.3）所示。
上述公式中的kt是用来约束鉴别器的能力，通过公式（5）约束kt能够使得网络更容易训练。正如许多论文中提到的那样，GAN不稳定且难以训练，因为鉴别器过快收敛，导致网络很容易崩溃，训练出无效的生成器。鉴别器过快收敛，从loss来分析就是：Lfake小于Lreal，生成器生成的热图足够真实以欺骗鉴别器。 此时，kt将增加，以使Lfake更具优势，从而使得鉴别器进行更多的训练才能识别生成的热图。它在Lfake上加速训练的比例取决于鉴别器落在与生成器的差距。当Lfake大于Lreal时原理类似。
对公式4进行解读：
公式4.1 输入为原始RGB图像X，GT热度图C。计算的Lreal表示鉴别器产生的结果和GT热度图之间的差别。
公式4.2输入为原始RGB图像X，生成器产生的热度图C^。计算Lfake表示鉴别器产生的结果和生成器产生热度图之间的差别。
公式4.3表示最终整个公式4，也就是鉴别器的loss的目的是最小化Lreal和Lfake，即整个优化过程要求Lreal小且Lfake大，直白的来说就是要求当输入为GT热度图时，鉴别器产生尽可能和GT相同的结果。当输入为生成器产生的热度图时，鉴别器产生尽可能和生成器不同的结果。如，如果右膝盖的信心在左膝盖附近很高，则训练有素的鉴别器将产生右膝盖的热图，该热图在左膝盖的位置具有较大的误差。由于鉴别器就像评论家一样， 它在输入热图上提供了详细的“注释”，并建议热图中的哪些部分未产生真实姿势。最终整个误差会在公式2中体现出来。而公式二会指导生成器进行进化，使得最终的生成器更好，降低整个误差。
##### 5.算法整体流程
整体算法每一个迭代过程如下：
1.将GT热度图C,原始图像X输入到鉴别器，计算鉴别器的前向结果。为D(X,C)。同时计算鉴别器的loss，公式4.1，Lreal。
2.将原始图像X输入到生成器，计算生成器的前向结果C^。同时计算生成器loss，公式1，Lmse。
3.将虚假热度图C,原始图像X输入到鉴别器，计算鉴别器的前向结果。为D(X,C)。同时计算鉴别器的loss，公式4.2，Lfake。（累计Lreal和Lfake梯度值，并更新鉴别器参数，公式4.3）。
4.有了虚假热度图C和D(X,C)，利用公式2计算对抗loss，Ladv，并更新生成器。
##### 6.结果展示
作者在LSP和MPII两个人体关键点数据集上对上述自对抗网络进行了结果分析，从下表可以看出，利用对抗生成的方式能够有效提升模型效果，且不会增加推理时间。
