生成对抗网络GAN的前世今生

综合论文摘要以及网上文章整理。

2014年,蒙特利尔大学的Ian Goodfellow和他的同事创造了生成式对抗网络(GAN)
论文:Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C].Advances in Neural Information Processing Systems. 2014: 2672-2680.

2014年,Goodfellow在论文的最后他指出了GAN的优缺点以及未来的研究方向和拓展,其中他提到的第一点拓展就是:A conditional generative model p(x|c) can be obtained by adding c as input to both G and D。同年,Mirza等人就提出了一种Conditional Generative Adversarial Networks,这是一种带条件约束的生成对抗模型,可以看成是把无监督的GAN变成有监督模型的一种改进,这个改进也被证明是非常有效的,为后续的相关工作提供了指导作用。
论文:Mirza M, Osindero S. Conditional Generative Adversarial Nets[J]. Computer Science, 2014:2672-2680.

2015年,Facebook的Emily Denton等人基于GAN和CGAN提出了LAPGAN(拉普拉斯金字塔生成式对抗网络),为了改进 GAN 太自由的问题,不让GAN一次完成全部任务,而是一次生成一部分,分多次生成一张完整的图片。
论文:Denton E L, Chintala S, Fergus R. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[C]. Advances in neural information processing systems. 2015: 1486-1494.

2015年,Alec Radford结合CNN在有监督学习的成功(CGAN)和无监督学习以及LAPGAN的成果,提出一类被称为“深度卷积生成对抗网络(DCGANs),使用生成模型和判别模型,从物体物件到场景图像,学习到一种层次的表征。最后,使用学习到的特征实现新任务——阐明它们可以用于生成图像的表征。
论文:Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv:1511.06434, 2015.

2015年,GAN的判别网络需要学习图片中的丰富特征。因此Anders Boesen Lindbo Larsen等人整合了GAN的高质量生成模型优点和VAE的隐变量学习。VAE的生成使用GAN,整合了VAE和GAN。
论文:Larsen A B L, Sønderby S K, Winther O. Autoencoding beyond pixels using a learned similarity metric[J]. arXiv preprint arXiv:1512.09300, 2015.

2015年,Jost Tobias Springenberg提出一种从为标记或部分标记数据中学习判别分类器的方法。方法是基于一个目标函数,在观测样本和他们预测的类别分布间trades-off(交换,权衡)互信息,against生成对抗模型的分类器的鲁棒性。
论文:Jost Tobias Springenberg. Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks[J]. arXiv preprint arXiv:1511.06390, 2015.

2016年,Daniel Jiwoong Im等人提出通过优化像素匹配CNN中图像特征渲染高质量图像的一种方法,同时提出了定量比较生成器和判别器的方法。
论文:Daniel Jiwoong Im, Chris Dongjoo Kim et al. Generating images with recurrent adversarial networks[J]. arXiv preprint arXiv:1602.05110, 2016.

2016年,虽然经过训练的GAN可以生成新的图像,但是它却无法解决一个问题——生成具有某种特征的图像。Chen X等人提出InfoGAN,InfoGAN是一种能够无监督的学习非耦合表示关系(disentangled representation)的GAN,从信息论的角度尝试解决GAN隐变量可解释性问题。
论文:Chen X, Duan Y, Houthooft R, et al. InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets[J]. arXiv preprint arXiv:1606.03657, 2016.

2016年,Alexey Kurakin, Ian Goodfellow等人表明在在物理世界中,机器学习容易受到对抗性例子的影响,
论文:Alexey Kurakin, Ian Goodfellow, Samy Bengio. Adversarial examples in the physical world[J]. arXiv preprint arXiv:1607.02533, 2016.

2016年,Goodfellow等人提出了新的目标函数,判别网络按照原来的方式训练。相比原先的方式,生成网络G产生的数据更符合数据的真实分布。虽然不保证能够收敛到纳什均衡点,但是在传统GAN不能稳定收敛的情况下,新的目标函数仍然有效。
论文:Salimans T, Goodfellow I, Zaremba W, et al.
Improved Techniques for Training GANs[J]. arXiv preprint arXiv:1606.03498, 2016.

扫描二维码关注公众号,回复: 9859824 查看本文章

2016年,Augustus Odena提出了一种通过强制判别网络输出标签的方法使用GAN进行版监督学习。
论文: Augustus Odena. Semi-Supervised Learning with Generative Adversarial Networks[J]. arXiv preprint arXiv:1606.01583, 2016.

2017年,Martin Arjovsky等人发表《Towards Principled Methods for Training Generative Adversarial Networks》没有介绍任何算法和方法,而是充分解释了GAN训练的动态过程。一个多星期后发表《Wasserstein GAN》,彻底解决GAN训练不稳定的问题,不再需要小心平衡生成器和判别器的训练程度,基本解决了collapse mode的问题,确保了生成样本的多样性 ,训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程,这个数值越小代表GAN训练得越好,代表生成器产生的图像质量越高,以上一切好处不需要精心设计的网络架构,最简单的多层全连接网络就可以做到。具体做法:1)判别器最后一层去掉sigmoid。2)生成器和判别器的loss不取log。3)每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c。4)不要用基于动量的优化算法(包括momentum和Adam),推荐使用RMSProp。
论文:
Martin Arjovsky, Léon Bottou. Towards Principled Methods for Training Generative Adversarial Networks[J]. arXiv preprint arXiv:1701.04862, 2017
Martin Arjovsky, Soumith Chintala, Léon Bottou. Wasserstein GAN[J]. arXiv preprint arXiv:1701.07875, 2017

发布了11 篇原创文章 · 获赞 18 · 访问量 3万+

猜你喜欢

转载自blog.csdn.net/wangke0809/article/details/78949162