Generative Adversarial Nets (GAN) 阅读笔记

Generative Adversarial Nets 生成对抗网络的出现所引起的影响,不用我多说,想必大家也都知道了.我也是最近几天才看完这篇文章(汗,我这科研速度),把自己的一些理解分享给大家.

一 Abstract

作者提出了一个网络结构, 该结构包含两个模型, 一个是生成模型, 另一个是辨别模型. 这两个模型的存在就是一个相互促进或者说是互怼的过程.

二 Introduction

顾名思义, G就是生成模型, D就是辨别模型. D的存在就是判断G生成的结果是好还是坏, 或者说G生成了和minist数据相似的手写字体, D就是用来判断G生成的结果的好坏. D觉着G生成的效果不好, 然后就把误差传递给G, G更新自己的参数变成 $G_{1}$ , 此时 $G_{1}$ 就再生成一个一次类minist数据, 这时的结果是可以骗过上次的D的. $G_{1}$ 骗了一次D, D在判断的过程中也学习甚麽是好的minist甚麽是假的minist(更新参数), D就变成了 $D_{1}$ . 再重复进行上述过程, 这样就成了G骗一次D, D揭发一次G, 二者相互促进, G的骗术越来越高, D的辨别能力越来越强, 直到D不能揭发G了, 此时G的生成能力可以以假乱真了.
我相信你看了上面这一段描述还不是很清楚, 那就让我来给你细细的描述一下. 来一段伪代码吧:

g代表生成模型 d代表辨别模型 d_on_g代表二者结合起来
for every_epoch in epoch:
for every_batch in batch:
z = noise
g对噪声预测得到gen_imgs
将gen_imgs和minist放在一起, gen_imgs的label为0, minist的label为0, 得到的数据为mix_imgs.
d 训练 mix_imgs数据,更新d的参数
冻结d的权重, 将噪声的label设置为0
d_on_g去训练 mix_imgs.更新g的参数
放开d的权重

以上就是GAN的训练思路, 首先由G生成数据(predict), 然后把生成数据和真实数据混合, 二者的label分别为0, 1. 送入d去训练d的辨别能力,训练完毕之后, 此时d的参数更新完毕. 然后固定d的参数, 把噪声的label设为1, 训练d_on_g模型, 此时d被freeze了, 所以更新的参数是g的,并强制让d对噪声的label为1. 这就相当于新一代的g已经能够骗过d了. 然后再把d的参数放开. 进行下一个batch.
这样循环下去, 直到d不能分别出来g生成的数据和真实数据, 说明我们训练了一个很好的g.

三损失函数

说了这么多, 两个模型怎么更新参数? 损失函数又是甚麽?好吧, 是时候祭出公式了:

m i n (G) m a x (D) = E x - p d a t a [l o g D (x)] + E z - p z (z) [l o g (1 - D (G (z)))]

$min(G) max(D)=E_{x-p_{data}}[logD(x)]+E_{z-p_{z}(z)[log(1-D(G(z)))]}$
我们先来说一下min和max分别代表甚麽, max(D)是指让D的损失越大越好, 越大说明D越能发现G生成的数据是假的, 因为二者本来就是给对方制造麻烦的. min(G)是指G希望D的损失越小越好, 因为越小说明G生成的数据越能骗过D.

max(D) $max(D)$ 是希望

Ex−pdata[logD(x)]+Ez−pz(z)[log(1−D(G(z)))] $E_{x-p_{data}}[logD(x)]+E_{z-p_{z}(z)[log(1-D(G(z)))]}$ 最大, 当D(x)为1,D(G(z))为0时,说明D把所有真实的数据识别出来了, 并把所有的假的数据也识别出来, 你说这是不是最好的辨别器, 你说此时的损失是不是最大.

min(G) $min(G)$ 是希望