1. f-divergence
用f-divergence来衡量两个分布得不同
不同的f(x)对应不同的divergence
用f(x)得Fenchel Conjugate将f(x)表示出来再带入D
令D(x)代替t,即输入为x输出为t=D(x),得到初始的f-divergence,此时是f-divergence得lower bound
接下来就是要找一个最好的D,来近似f-divergence
最后找一个G,使得f-divergence最小
各种不同得f(x)得到的divergence
那么如何变成原始的GAN呢?
令D得输出激活函数为sigmoid函数,之后取log就得到原始GAN得loss fuction的第一项:
对应于第一个表格得倒数第二行和第二个表格的倒数第三行。他这里只不过用的是负对数
然后将f*(t)中的t用gf代替就得到原始GAN得loss fuction的第二项: