Wasserstein GAN
简述：
本文关心的问题为无监督学习问题。介绍WGAN，可替换传统GAN的训练。新模型中，提高了学习的稳定性，克服了模式被破坏等问题，并提供方便调试和超参数搜索的学习曲线。进一步，显示对应的优化问题合理，并为分布间其它距离的深入关联提供理论工作。
在非监督学习中学习概率分布的意义在哪儿？论文使用极大似然估计的理论来解释，使用一个分布来近似真实分布，并通过最小化连个分布之间的KL散度来求解。论文解释了生成模型GAN与VAE的特点：不用直接求解原分布，而通过生成一个随机变量z的分布P(z)，并通过参数化方程（比如神经网络等）生成一个确定分布，并将不断的接近从而求解非监督问题。
本文的主要贡献有：
在理论上解释了推土机(Earth Mover,EM)距离，并比较了常用的其他距离和散度公式。
定义了一个新的GAN生成模型WGAN，通过最小化近似笔记EM距离。
WGAN解决了GAN在训练中不稳定等问题，WGAN训练鉴别器D过程中可以连续的评估EM距离。
问题or相关工作：
1.Total Variationdistance (TV距离)及 Kullback-Leiblerdivergence (KL散度) ：
其中，假设Pr和Pg绝对连续，关于定义在X上用相同的度量μ输出密度。KL散度不对称，且当存在点使Pg(x)=0且Pr(x)>0时，KL散度可能为无穷大。
2.The Earth-Moverdistance or Wasserstein-1 (EM推土机距离)及 The Jensen-Shannon divergence (JS散度)
其中，∏(Pr,Pg)为所有联合分布γ(x,y)的集合，它的边缘分布分别为Pr和Pg。直观上看，γ(x,y)表明：为转移分布Pr至分布Pg，必须从x到y来转移多少“质量”。那么，EM距离为最优传输计划（optimal transport plan）的“代价”。
其中，Pm=（Pr+Pg）/2。JS散度对称，且可选μ=Pm，此时JS散度总有定义（defined）。
例1 （学习平行线）。令Z∼U[0,1]（单位区间上的均匀分布）。令P0为(0,Z)∈R2的分布（x轴上为0，y轴上为随机变量Z，经过原点的垂直线段上的均匀分布）。令gθ(z)=(θ,z),θ为单个实参数。此时有：
作者通过距离论证了学习低维流形支撑的分布时，KL，JS和TV距离为不合理的损失函数。但此时EM距离却合理：
1.EM距离可使概率序列收敛至真实数据的概率分布，其它距离不可收敛；
2.EM距离的损失函数连续，可用梯度下降学习低维流形上的概率分布；其它距离的损失函数不连续；
3.EM距离引入的拓扑相对强度最弱。
WGAN算法：
文中定理2指出：W(Pr,Pθ)可能比JS(Pr,Pθ)有更好的属性
定理 3. 令Pr为任意分布。令Pθ为gθ(Z)的分布（Z为随机变量，该分布的概率密度为p，gθ为满足假设1的函数）。那么，对问题存在解f:X→R，当Pr和Pθ都为良定时，有：
具体w-GAN算法为：
结论：参数简单，训练判别器的时间越长，得到的EM距离的梯度越可靠。判别器越好，JS散度的梯度越可靠。但会因JS散度局部饱和，真实梯度为0，梯度消失
成果：
下图为证明上述结论，先将训练GAN判别器和WGAN判别器至最优。GAN判别器很快学会区分真伪数据，同期望一样，并未提供可靠的梯度信息。然而，WGAN判别器不饱和，收敛至线性函数并处处给出很明确的梯度；约束梯度限制了函数，使其可能在空间不同部分至多线性增长。
在下面两幅图中，上图是使用W-Estimator，下图是使用JS-Estimator，上图显示，GAN的损失趋向于收敛。
改变生成器的结构时，WGAN比其它GANs更鲁棒。为此，3个不同的生成器结构上运行实验：（1）卷积DCGAN生成器；（2）卷积DCGAN生成器，不带块归一化，滤波器数目不变；（3）512个隐含单元组成的4层ReLU-MLP。图5，图6和图77显示用到WGAN和GAN时，上面3种结构生成的样本。
因为时间有限而且文中的数学推导过于复杂，这次的论文笔记只是总结了WGAN的框架思路以及相较于GAN的改进部分，下面推荐下个博主对论文中的证明部分有更详细的解读，有需要的话可以看看：
https://blog.csdn.net/shadow_guo/article/details/56003908
