论文：http://ice.dlut.edu.cn/valse2018/ppt/Generative_Adversarial_Nets_JSFeng.pdf
这个是我第一次写论文报告笔记，然后我也希望能通过写自己在读报告的过程中的一下心得体会，和你们一起分享吧
1）：为什么研究生成模型 ？
• 测试高维复杂的概率分布建模• 模拟未来 (规划, 仿真)
• 处理缺失数据
• 多模态输出
• 解决真实的数据生成问题
生成对抗网络(GANs)
– 优点:生成样本细节清晰
– 缺点:优化困难(训练过程不稳定性)
变分自动编码模型(VAE)
– 优点:允许带隐变量的概率图模型学习与贝叶斯推断
(例如 DRAW, Attend Infer Repeat)– 缺点:生成样本模糊
自回归模型(Auto-regressive)
– 优点:简单，稳定的训练过程(例如PixelRNN)– 缺点:采样效率低
变分自编码模型 ：
缺点:
如果分布q不完美, 则估计不一致生成的数据质量通常不高
GANS的优点：使用隐性编码；不需要马尔可夫链；生产数据质量高。
GAN避免了马尔科夫链式的学习机制”
“概率密度不可计算时，GAN仍可以应用”
特别值得一提的是gan属于一种无监督学习。
你你在传统的数据你在传统的数据生成中，而你是用一个高斯分布，然后把那个参数概率模型进行操作化，然后再通过概率分布的方法进行逆采样。从而得到它一个概率分布。
生成对抗网络采用的思想是。他既对这个生成的网络进行一个神经网络的优化又对这个判别器进行一个快速的参数的优化。
通过优化目标，使得我们可以调节概率生成模型的参数\theta，从而使得生成的概率分布和真实数据分布尽量接近。
那么怎么去定义一个恰当的优化目标或一个损失？传统的生成模型，一般都采用数据的似然性来作为优化的目标，但GAN创新性地使用了另外一种优化目标。首先，它引入了一个判别模型（常用的有支持向量机和多层神经网络）。其次，它的优化过程就是在寻找生成模型和判别模型之间的一个纳什均衡。
其实GANs的训练没过程，就是一个博弈的过程，一个生成器和一个判别器，彼此对抗，然后来彼此学习的过程。有点像两个人下象棋，然后一直下下下来，提高自己的水平一样。
假设判别器是一个警察，但是生成器就是一个要善于伪装自己的小偷，他们在博弈的过程中小偷可以不断地欺骗警察而己，茶业会不断的识别出小偷欺骗他的那些过程，直到最后面，警察变得无比的精明小偷也变得无比了善于伪装自己。
但是现在有一个问题就是我们的生存模型，它可能会专门的针对这个判别模型去优化，而不是说针对他要尽量的去你和这个真实世界的图像进入一个拟合，就是过拟合一样的感觉。所以如何去把优化这个生成对抗网络是不要进入这种过拟合是很重要的。
生成对抗网络的基本原理
它生成对抗网络，它需要一个一个生成器G和一个判别器D，而生成对抗网络的目标函数就是一个关于D和G的一个零和博弈，也就是所谓的一个最小最大化问题。
这里判别模型D实际上是对数据的来源进行一个判别：究竟这个数据是来自真实的数据分布Pdata，还是来自于一个生成模型G所产生的一个数据分布Pg。
判别模型D的训练目的就是要尽量最大化自己的判别准确率。当这个数据被判别为来自于真实数据时，标注 1，自于生成数据时，标注 0。
生成模型G的训练目标，就是要最小化判别模型D的判别准确率。在训练过程中，GAN采用了一种非常直接的交替优化方式，它可以分为两个阶段，第一个阶段是固定判别模型D，然后优化生成模型G，使得判别模型的准确率尽量降低。而另一个阶段是固定生成模型G，来提高判别模型的准确率。
下面是一个训练的过程：
图(a)中黑色大点虚线P(x)是真实的数据分布，绿线G(z)是通过生成模型产生的数据分布（输入是均匀分布变量z，输出是绿色的曲线）。蓝色的小点虚线D(x)代表判别函数。
在图(a)中，我们可以看到，绿线G(z)分布和黑色P(x)真实分布，还有比较大的差异。这点也反映在蓝色的判别函数上，判别函数能够准确的对左面的真实数据输入，输出比较大的值。对右面虚假数据，产生比较小的值。但是随着训练次数的增加，图（b）和图（c）反映出，绿色的分布在逐渐靠近黑色的分布。到图（d），产生的绿色分布和真实数据分布已经完全重合。这时，判别函数对所有的数据（无论真实的还是生成的数据），输出都是一样的值，已经不能正确进行分类。G成功学习到了数据分布，这样就达到了GAN的训练和学习目的。
GAN的优点很多，前面我们提到了一部分。这里要提到的一个重要优点，就是生成模型G的参数更新不是来自于数据样本本身（不是对数据的似然性进行优化），而是来自于判别模型D的一个反传梯度。
实际中，我们就可以使用深度卷积网络，来参数化生成模型。
为了避免G坍缩到同一点，需要同步D和G