Third paper:Stochastic Back-propagation and Variational Inference in Deep Latent Gaussian Models 笔记

paper是深层高斯模型中的随机反向传播和变分推理,是理解VAE的基础版本,也是Generative model基础必读paper。

该文将来自深层神经网络的想法和近似贝叶斯推理结合起来,推导出一种广义的、有指导意义的模型,并赋予了一种可伸缩推理和学习的新算法。本文在算法中引入了一个识别模型(inference model)来近似后验概率分布,它可以作为数据的随机编码器。我们开发了随机反向传播方法(利用随机变量的反向传播规则),并利用此方法开发了一种算法,可以同时优化inference 和generative中的参数。我们对几个真实的数据集进行了分析---模型生成了真实的样本,提供了准确的丢失数据的估算,并且是高维数据可视化的有用工具

1.Introduction

2.Deep latent gaussian models(DLGM)

3.stochastic back-propagation (随机反向传播)

    GBP(Gaussian back-propagation)

  3.1.  using the product rule for integrals(用乘积规则来积分)

 3.2.  Using suitable co-ordinate transformations (用合适的坐标变换)

4.Scalable Inference in DLGMs(深度隐高斯模型的可伸缩推理)  在此部分进行了大量的公式推导

   4.1. Free Energy Objective

  4.2. Parameterising the Recognition Covariance (参数化识别方差)

  4.3. Gradients of the Free Energy

  4.4. Algorithm Summary and Complexity(算法总结和复杂度)

5. Related Work(相关工作)

   Directed Graphical Models.(定向图模型)

  Relation to denoising auto-encoders(与去噪自编码的关系)

  Alternative Gradient Estimates(可替代的梯度估计)

 Stochastic back-propagation in other contexts.(在其他环境中的随机反向传播)

6. Results

   6.1. Testing Methodology

  6.2. Analysing the Approximate Posterior

  6.3. Simulation and prediction

  6.4. Missing Data Imputation and Denoising

7. Discussion

8.Conclusion

本文设计了一种通用的和可能的生成模型,在每一层都有高斯潜变量。我们的方法引入了一个识别模型,它可以被看作是数据的随机编码,以允许特定的和可跟踪的推断。我们对生成模型的边际可能性进行了较低的限制,并通过利用最近在深度学习方面的进展,对识别模型的结构和规范进行了分析。通过开发利用随机层进行反向传播的方法,我们推导出了一种特殊的推理算法,该算法允许对所有参数进行联合优化,即生成和识别模型的参数。我们已经在几个真实的数据集上演示了该模型生成了真实的样本,提供了错误的数据估算,并且可以成为高维数据可视化的有用工具。

  该论文有着很强的数学理论依据,用了大量的篇幅来证明其中的表示,是理解变分推理和生成模型数学原理的重要论文

猜你喜欢

转载自blog.csdn.net/Jasminexjf/article/details/82559115
今日推荐