参考链接:
https://blog.csdn.net/wspba/article/details/54582391
下面将根据论文原文进行推导以及代码复现:
定义:
KL 散度:我们最终的目的是使伪造的数据分布与真实的数据分布尽可能相同。数据分布的描述就是概率分布,而衡量两个概率分布之间的差异性可以使用KL-散度。KL散度定义如下:https://www.jianshu.com/p/7b7c0777f74d
所以:GAN网络的优化目标是一个KL散度。
GAN 网络原理:GAN的原理也非常简单直接:生成器网络根据随机噪声 生成伪造的图片,而判别器网络判断图片真假。判别器的目标是:尽量判断真实图片为真,判断判别器伪造的图片为假,提高判断真假的准确度。生成器的目标是:尽量让伪造图片看起来真,降低判别器的准确度。
因此存在两个优化大小问题:
论文中的表达如下:
为了求极大极小问题,常用的是两步法。
可以先固定生成器G,求导得到最优的D:
补充交叉损失函数:其实是从极大似然法推导而来,https://mp.weixin.qq.com/s/2_ZkKrwPhaS31JnyYXyfrQ
代码复现
参考论文与博客:https://blog.csdn.net/wspba/article/details/54582391