GAN学习(1)

https://mp.weixin.qq.com/s/ZIJAdOGgdrOKCdXkEBDyMA
GAN综述介绍阅读笔记
GAN的原理

GAN在序列生成上的问题:

相比于 GAN 在图像领域的应用,GAN 在文本,语音领域的应用要少很多。主要原因有两个: 
1. GAN 在优化的时候使用 BP 算法,对于文本,语音这种离散数据,GAN 没法直接跳到目标值,只能根据梯度一步步靠近。 
2. 对于序列生成问题,每生成一个单词,我们就需要判断这个序列是否合理,可是 GAN 里面的判别器是没法做到的。除非我们针对每一个 step 都设置一个判别器,这显然不合理。 
为了解决上述问题,强化学习中的策略梯度下降(Policy gredient descent)被引入到 GAN 中的序列生成问题

GAN的目标函数在dialogue是什么样子?
GAN和强化学习有相似的地方,无法直接客观的判断生成样本的好坏
GAN训练有一定难度(优化目标函数来解决、zhujunyan文章对于GAN训练提出技巧)

任务:
复现lijiwei文章;
阅读liubing和peng文章,精读,基本上对模型的每一步都要了解,包括输入输出,公式推导,
再找新文章阅读

猜你喜欢

转载自blog.csdn.net/yagreenhand/article/details/88689721