机器学习-白板推导系列笔记（三十一）-GAN

此文章主要是结合哔站shuhuai008大佬的白板推导视频：生成对抗网络_54min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、例子

其中国宝是一个静态的，不会改变，工艺品和这个节目的鉴定水平是动态的，可学习的。

目标：成为高水平、可以以假乱真的大师。

1. 高水平的鉴赏专家（手段）
2. 高水平的工艺品大师（目标）
   （高大师（高专家））

二、数学描述

我们将上图转化为数学符号

古人： { x i } i = 1 N : P d a t a \{x_i\}_{i=1}^N:P_{data} { xi​}i=1N​:Pdata​
工艺品：$P_g(x;{\theta }_g):generator(P_z(z)+G(z;{\theta }_g))Z\sim P_Z(z)x=G(Z;{\theta }_g)$

$x$是国宝的概率：$D(x;{\theta }_d)$

高专家：

如果$x$来自与$P_{data}$，则$D(x)$相对较高。（可以改写为$\log D(x)$）
如果$x$来自与$P_g$（相当于$Z$来自于$P_z$），则$D(x)$相对较低（可以改写为$\log (1-D(G(z)))$，则这个应该较高）

$$\underset{D}{\max }\left[E_{x\sim P_{data}}\right[\log D(x)]+E_{z\sim P_z}[\log (1-D(G(z)))\left]\right]$$

扫描二维码关注公众号，回复： 12192665 查看本文章

高大师：

如果$x$来自与$P_g$（相当于$Z$来自于$P_z$），则$D(x)$相对较高（可以改写为$\log (1-D(G(z)))$，则这个应该较低）
$$\underset{G}{\min }{E}_{z\sim P_z}[\log (1-D(G(z)))]$$

总目标：

$$\underset{G}{\min }\underset{D}{\max }\left[E_{x\sim P_{data}}\right[\log D(x)]+E_{z\sim P_z}[\log (1-D(G(z)))\left]\right]$$

三、全局最优解

$y|x:discriminator$

$y/x$	1	0
$p$	$D(x)$	$1-D(x)$

记

$$V(D,G)=E_{x\sim P_{data}}[\log D(x)]+E_{x\sim P_g}[\log (1-D(x))]$$

固定$G$，求$D^{\ast }$，记作$D_G^{\ast }$：

$$\underset{D}{\max }V(D,G)$$
$$\begin{gathered} \underset{D}{\max }V(D,G)=\int P_{data}\cdot \log Ddx+\int P_g\cdot \log (1-D)dx \\ =\int [P_{data}\cdot \log D+P_g\cdot \log (1-D)]dx \end{gathered}$$
关于$D$求偏导：
$$\begin{gathered} \frac{\partial }{\partial D}(\underset{D}{\max }V(D,G))=\frac{\partial }{\partial D}\int [P_{data}\cdot \log D+P_g\cdot \log (1-D)]dx \\ =\int \frac{\partial }{\partial D}[P_{data}\cdot \log D+P_g\cdot \log (1-D)]dx \\ =\int [P_{data}\cdot \frac{1}{D}+P_g\cdot \frac{-1}{1-D}]dx \end{gathered}$$
令导数为$0$，得到：
$$D_G^{\ast }=\frac{P_{data}}{P_{data}+P_g}$$

将$D_G^{\ast }$代入，则有：

$$\begin{gathered} \underset{G}{\min }\underset{D}{\max }V(D,G)=\underset{G}{\min }V(D_G^{\ast },G) \\ =\underset{G}{\min }{E}_{x\sim P_{data}}\left[\log \frac{P_{data}}{P_{data}+P_g}\right]+E_{x\sim P_g}[\log (1-\frac{P_{data}}{P_{data}+P_g})] \\ =\underset{G}{\min }{E}_{x\sim P_{data}}\left[\log \frac{P_{data}}{P_{data}+P_g}\right]+E_{x\sim P_g}\left[\log \frac{P_g}{P_{data}+P_g}\right] \\ =\underset{G}{\min }{E}_{x\sim P_{data}}[\log \frac{P_{data}}{\frac{P_{data}+P_g}{2}}\cdot \frac{1}{2}]+E_{x\sim P_g}[\log \frac{P_g}{\frac{P_{data}+P_g}{2}}\cdot \frac{1}{2}] \\ =\underset{G}{\min }KL(P_{data}||\frac{P_{data}+P_g}{2})+KL(P_g||\frac{P_{data}+P_g}{2})-\log 4 \\ \ge -\log 4 \end{gathered}$$
当$P_{data}=\frac{P_{data}+P_g}{2}=P_g$时，“=”成立。    \;
此时，$$P_g^{\ast }=P_{data},D_g^{\ast }=\frac{1}{2}$$

   \;
   \;
   \;
下一章传送门：白板推导系列笔记（三十二）-变分自编码器