Improved Techniques for Training GANs
简述：
目前，当GAN在寻求纳什均衡时，这些算法可能无法收敛。为了找到能使GAN达到纳什均衡的代价函数，这个函数的条件是非凸的，参数是连续的，参数空间是非常高维的。本文旨在激励GANs的收敛。这些技术的动机是对非收敛问题的启发式理解。改进了半监督学习性能，改进了样本生成。本文将重点介绍GANs的两个应用:半监督学习和生成人类认为具有视觉真实感的图像。
创新点：
1.feature matching
特征匹配通过为生成器指定一个新目标来解决GANs的不稳定性，该目标可以防止它在当前鉴别器上过度训练。新的目标不是直接最大化鉴别器的输出，而是要求生成器生成与实际数据统计相匹配的数据，其中我们仅使用鉴别器指定我们认为值得匹配的统计。
让f(x)表示鉴别器中间层上的激活，我们对生成器的新目标定义为:||Ex∼pdataf(x)-Ez∼pz(z)f(G(z))|| 22。鉴别器，也就是f(x)，是按通常的方式训练的。与常规的GAN训练一样，目标有一个固定点，G与训练数据的分布完全匹配。
实验结果表明，特征匹配在正则GAN不稳定的情况下是有效的。
2.Minibatch discrimination
GAN主要失效的原因之一是使发生器坍缩到一个参数设置，使其始终发出相同的点。当即将崩溃为单一模式时，鉴别器的梯度可能指向多个相似点的相似方向。鉴别器的梯度使发生器产生的单点在空间中无限延伸，算法不能收敛到具有正确熵值的分布。
避免这类失败的一个明显的策略是允许鉴别器以组合的方式查看多个数据示例，并执行我们所称的mini-batch discrimination （小批量鉴别器）。图例及具体分析如下：
3.Historical averaging
参数的历史平均值可以在线更新，因此这个学习规则可以很好地扩展到长时间序列。θ[i]表示在过去时间i参数的值。修改每个玩家的cost的公式如下：
4.One-sided label smoothing
在最优鉴别器中，公式见下，其中，pmodel在分子中的存在是有问题的，因为在pdata近似为零且pmodel很大的区域，来自pmodel的错误样本没有动机靠近数据。
其中，我们平滑处理可以仅保留积极标签α，将消极标签β置0。
5.Virtual batch normalization
DCGAN已经证明加入BN对系统有积极的影响，然而，它会导致一个输入示例x的神经网络的输出高度依赖于其他几个在同一mini-batch的输入x` 。为了避免这个问题，我们引入了虚拟批处理规范化(VBN)，在VBN中，在每一个mini-batch中的输入进行归一化时，只根据提前选出且在训练过程中不在改变的参考批次样本（reference batch）的统计信息进行操作，这样就避免了对于同一mini-batch中其他输入样本的依赖。引用批处理仅使用其自己的统计数据进行规范化。VBN在计算上开销很大，因为它需要对两个小批量的数据进行正向传播，所以我们只在生成器网络中使用它。
6.Assessment of image quality
以生成图片为输入，以判别类标签概率为输出，作者认为会有两种较好的可能情况：一个是低熵P(y|x)：生成样本看起来很像从真实数据中采样得到；另一个是高熵∫p(y|x=G(z))dz：生成样本的多样性应该很好。因此提出的函数见下，即衡量已有类别的分布和生成样本类别的分布之间的KL散度，希望值越大越好（生成样本的多样性更好）。
7.Semi-supervised learning
在标准的用于分类的网络中，经过softmax将输入x分为K个类别，得到类别向量{l1,…,lk}
如果将D看作时上述类型的分类网络模型，就可以将生成样本看作第K+1类， 用pmodel(y=K+1|x)表示生成网络的图片为假，用来代替标准GAN的1−D(x)。对于D来说，只需要知道某输入样本属于哪一类，而不必知道具体的类别信息，通过pmodel(y∈{1,…,K}|x)就可以训练。 所以损失函数就变为了：
如果令D(x)=1−pmodel(y=K+1|x)，上述无监督的表达式就是GAN的形式：
成果：
左图是用半监督训练，样品可以清楚地从图像中区分出来，右边是用特征匹配小批量判别法，样本的外观与数据集图像在视觉上没有太大的区别。
不同数据集给定样本的错误数量及错误率
左侧是DCGAN生成的样本，右侧是本文的方法生成的样本，可以明显的看出右图能看到一些动物部分特征，如皮毛，鼻子，眼睛，但对于一个完整的图像还是远远不够的。
