机器学习-白板推导系列笔记（三十二）-VAE

此文章主要是结合哔站shuhuai008大佬的白板推导视频：变分自编码器_44min

全部笔记的汇总贴：机器学习-白板推导系列笔记

涉及到变分推断和重参数化技巧的内容，建议回顾一下白板推导系列笔记（十二）-变分推断

一、模型表示

VAE实质是一个隐变量模型（Latent Variable Model），我们通过GMM（混合高斯模型）来对比。

GMM	VAE
$k$个高斯分布混合	无限个高斯分布的混合
$z\sim CategoricalDist$	$z\sim N(0,I)P_{\theta }(x/z)\sim N({\mu }_{\theta }(z),{\Sigma }_{\theta }(z))$

所以VAE的分布为：
$$P_{\theta }(x)={\int }_z{P}_{\theta }(x,z)dz={\int }_z{P}_{\theta }(z)\cdot P_{\theta }(x|z)dz$$
这个$P_{\theta }(x)$是intractable的，又因为$P_{\theta }(z|x)=\frac{P_{\theta }(z)\cdot P_{\theta }(x|z)}{P_{\theta }(x)}$，所以它也是intractable的。

Categorical Dist:

$z$	1	2	$\cdots$	$k$
$p$	$p_1$	$p_2$	$\cdots$	$p_k$

${\sum }_{i=1}^K{p}_i=1x|z=i\sim N(x|{\mu }_i,{\Sigma }_i)$

二、推断学习

$$P(z)=N(0,I)$$
$$P_{\theta }(x|z)=N({\mu }_{\theta }(z),{\Sigma }_{\theta }(z))$$
$$P_{\theta }(z|x)isintractable我们用q_{\varphi }(z|x)来逼近它$$

回顾一下EM：

$$\log P(x)=ELBO+KL(q_{\varphi }(z|x)||p_{\theta }(z|x))$$
E-Step：当$q=p_{\theta }(z|x)$时，KL=0，expectation is ELBO
M-Step：$\theta =\mathrm{argmax}ELBO=\mathrm{argmax}{E}_{p_{\theta }(z|x)}[\log p_{\theta }(x,z)]$

所以，

$$\begin{gathered} <\hat{\theta },\hat{\varphi }>=\mathrm{argmin}KL(q_{\varphi }(z|x)||p_{\theta }(z|x)) \\ =\mathrm{argmax}ELBO \\ =\mathrm{argmax}{E}_{q_{\varphi }(z|x)}[\log p_{\theta }(x,z)]+H[q_{\varphi }] \\ =\mathrm{argmax}{E}_{q_{\varphi }(z|x)}[\log (p_{\theta }(x|z)+p_{\theta }(z))]+H[q_{\varphi }] \\ =\mathrm{argmax}{E}_{q_{\varphi }(z|x)}[\log p_{\theta }(x|z)]-KL(q_{\varphi }(z|x)||p(z)) \end{gathered}$$

采用SGVI/SGVB/SVI/Amortized Inference，也就是利用神经网络和重参数化技巧来解决这个优化问题。

$$\begin{gathered} \epsilon \sim N(0,I) \\ z|x\sim N({\mu }_{\varphi }(x),{\Sigma }_{\varphi }(x)) \end{gathered}$$
$$z={\mu }_{\varphi }(x)+{\Sigma }_{\varphi }^{\frac{1}{2}}(x)\cdot \epsilon$$
                                               \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;                                                  \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;

   \;
   \;
   \;
   \;

下一章传送门：白板推导系列笔记（三十三）-流模型