Само Состязательность Обучение Человека Позы Оценивание
Официальный код: pytorch
1. Отправная точка
Поскольку блокирование тела и заторы и других явления, существующей сеть оценки позы тела человека точная оценка трудно решить в таких случаях, и такого явление может привести к точечной оценке сетевого ключа не соответствует нормальной осанке, потерю присущих человеческому сформироваться. Например, как показано во втором ряду на фотографии фиг, по сравнению с первой строки, то ясно, что идет вразрез с тем, что участок стыка. Авторы надеются, даже в перегруженном состоянии, предсказывали сетевой ключ также может быть в соответствии с совместным присущей структурой. На основании этого предложенного способа с использованием сгенерированной конфронтации, чтобы решить эту проблему.
2. Так как сетевая структура противостояния
ГАН аналогична традиционной модели, модель, описанная в данном описании разделен на две сеть, и дискриминатор генерируется. Создание первой сети является сверточной сетью, через генератор к бывшему расчету, чтобы получить набор тепла фиг уровня доверия, которое указует положение каждой критической точки для каждого счета. Вторая сеть дискриминатор, генератор, имеющий ту же самую архитектуру, но она будет нагреваться фиг закодированы вместе с входным сигналом RGB-изображения и декодирует его в новый набор фиг тепла для того, чтобы отличить истинные и ложные фиг термического фиг тепла , Поскольку результаты в отношении предлагаемой сети, как показано на фиг. , Дискриминатор будет исключен из общих результатов в ключевой момент, чтобы перед окончательным при рассуждении.
3. Генератор
Основная роль генератора для получения точной информации о ключевых точках тела человека. Конечно, как генерируя кольцо конфронтации, наиболее важная функция генератора может сделать ключевые моменты генерироваться дискриминатор окончательного обмана, делая дискриминатор не может различать между текущей GT ключа или теплом картой генерируется генератором. Таким образом, как показано на рисунке, когда генератор поезда, который оптимизирован на две частях, а именно обратные потери при распространении от генератора и Lmse против потери Ladv от дискриминатора.
Суммарные потери следующим образом, уравнение-потеря Lmse цель состоит в том, чтобы сделать генератор ключа органа, способным генерировать окончательный ярлык ближе. Формула конфронтационных потери Ladv 2, цель состоит в том, чтобы сделать борьбу с потерей ключевого генератора, наконец, производится в соответствии с более разумным отношением. Грубо говоря, Ladv цель состоит в том, так что тепло генерируется генератором паразитных фиг дурак дискриминатора может быть возможно, он не может различить ложные и GT тепла фиг тепловой фиг. Процесс формирования противостояния отражается здесь. Для того, чтобы оптимизировать использование окончательной потери генератора, показанного в уравнении 3. Где лямд является параметром супер.
4.鉴别器
鉴别器的目标是区分输入进来的热图是GT还是生成器生成的虚假热图。鉴别器最终的训练目标就是能够把生成器生成的数据竟可能和GT区分出来。从而和生成器形成一个对抗博弈的过程。因此，如下图所示，训练鉴别器时，其通过两部分进行优化，分别为反向传播来自鉴别器的损耗Lreal和来自鉴别器的损耗Lfake。
整体的loss如下所示，公式（4.1）表示将GT热图输入鉴别器得到编码后的新热图，并计算新热图和GT热图的距离，进行Lreal损失计算。公式（4.2）表示将生成器生成的虚假热图输入鉴别器得到编码后的新热图，并计算新热图和生成器生成的虚假热图之间的距离进行Lfake损失计算。正如前述提到过的，鉴别器的目的是尽可能的将虚假热图和GT热图区分开来，也就是说鉴别器希望GT热图输入后的输出重构热图尽可能和GT接近，希望虚假热图输入后的输出重构热图尽可能和虚假热图不同。从loss上来说就是希望Lreal越来越小，希望Lfake越来越大。基于此，鉴别器的loss如公式（4.3）所示。
上述公式中的kt是用来约束鉴别器的能力，通过公式（5）约束kt能够使得网络更容易训练。正如许多论文中提到的那样，GAN不稳定且难以训练，因为鉴别器过快收敛，导致网络很容易崩溃，训练出无效的生成器。鉴别器过快收敛，从loss来分析就是：Lfake小于Lreal，生成器生成的热图足够真实以欺骗鉴别器。 此时，kt将增加，以使Lfake更具优势，从而使得鉴别器进行更多的训练才能识别生成的热图。它在Lfake上加速训练的比例取决于鉴别器落在与生成器的差距。当Lfake大于Lreal时原理类似。
对公式4进行解读：
公式4.1 输入为原始RGB图像X，GT热度图C。计算的Lreal表示鉴别器产生的结果和GT热度图之间的差别。
公式4.2输入为原始RGB图像X，生成器产生的热度图C^。计算Lfake表示鉴别器产生的结果和生成器产生热度图之间的差别。
公式4.3表示最终整个公式4，也就是鉴别器的loss的目的是最小化Lreal和Lfake，即整个优化过程要求Lreal小且Lfake大，直白的来说就是要求当输入为GT热度图时，鉴别器产生尽可能和GT相同的结果。当输入为生成器产生的热度图时，鉴别器产生尽可能和生成器不同的结果。如，如果右膝盖的信心在左膝盖附近很高，则训练有素的鉴别器将产生右膝盖的热图，该热图在左膝盖的位置具有较大的误差。由于鉴别器就像评论家一样， 它在输入热图上提供了详细的“注释”，并建议热图中的哪些部分未产生真实姿势。最终整个误差会在公式2中体现出来。而公式二会指导生成器进行进化，使得最终的生成器更好，降低整个误差。
##### 5.算法整体流程
整体算法每一个迭代过程如下：
1.将GT热度图C,原始图像X输入到鉴别器，计算鉴别器的前向结果。为D(X,C)。同时计算鉴别器的loss，公式4.1，Lreal。
2.将原始图像X输入到生成器，计算生成器的前向结果C^。同时计算生成器loss，公式1，Lmse。
3.将虚假热度图C,原始图像X输入到鉴别器，计算鉴别器的前向结果。为D(X,C)。同时计算鉴别器的loss，公式4.2，Lfake。（累计Lreal和Lfake梯度值，并更新鉴别器参数，公式4.3）。
4.有了虚假热度图C和D(X,C)，利用公式2计算对抗loss，Ladv，并更新生成器。
##### 6.结果展示
作者在LSP和MPII两个人体关键点数据集上对上述自对抗网络进行了结果分析，从下表可以看出，利用对抗生成的方式能够有效提升模型效果，且不会增加推理时间。
