变分推断已经成为近似复杂模型后验分布的一种有效且广泛的方法。对于特定的模型，如果我们可以将其ELBO期望写成解析解的形式(比如指数家族分布，例如高斯分布)，这种情况下我们可以采用变分推断的一般方法进行优化求解。然而对于更一般的模型和任意的变分分布,普通的变分推断方法就无法进行有效求解了.针对不同的模型我们可以设计模型特异性的求解方法,但是针对具体的问题设计特定的求解策略是一个费时费力的工作。于是，David等人提出了 Black Box VI，它能够对复杂多样的模型与概率分布进行近似，进而求出近似的后验分布q。此外，相比于其他优化算法，基于梯度的随机优化算法在解决大规模数据、高维度问题中有着巨大的优势。
Black Box Variational Inference
在变分推断中，我们知道求解近似的后验概率分布的过程就是最大化ELBO的过程，或者说最小化KL散度，ELBO如下:
为了使用随机梯度的方法来优化ELBO,需要一个关于ELBO梯度的无偏估计noisy gradient，于是，本文中首先将ELBO重写为如下score function的形式：(还有一种有效得方式是VAE中的重参数方法，Reparameterization trick。感兴趣的可以自己看一下)
推导如下：
该方法的核心就是可以将关于ELBO的梯度写成关于变分分布q的期望：
