【f-GAN】f-GAN:Training Generative Neural Samplers using Variational Divergence Minimization

1. f-divergence

用f-divergence来衡量两个分布得不同
这里写图片描述
不同的f(x)对应不同的divergence
这里写图片描述
用f(x)得Fenchel Conjugate将f(x)表示出来再带入D
令D(x)代替t,即输入为x输出为t=D(x),得到初始的f-divergence,此时是f-divergence得lower bound
这里写图片描述
接下来就是要找一个最好的D,来近似f-divergence
最后找一个G,使得f-divergence最小
这里写图片描述
各种不同得f(x)得到的divergence这里写图片描述
这里写图片描述

那么如何变成原始的GAN呢?

令D得输出激活函数为sigmoid函数,之后取log就得到原始GAN得loss fuction的第一项:
这里写图片描述
对应于第一个表格得倒数第二行和第二个表格的倒数第三行。他这里只不过用的是负对数

然后将f*(t)中的t用gf代替就得到原始GAN得loss fuction的第二项:
这里写图片描述

猜你喜欢

转载自blog.csdn.net/qq_15933615/article/details/80065359