KL散度 与 ELBO

在学习EM算法的时候，涉及了这两个知识。在此先提前学习一下这两个知识点。

KL散度

KL散度就是相对熵，用于衡量两个概率分布之间的差异。对于两个概率分布p(x) 和 q(x)，其相对熵的计算公式为：

由于p(x) 和 q(x)在公式中的地位不是相等的，所有KL（p || q） 不等于 KL（q || p）。

相对熵的特点是，只有当p(x)  = q(x)时，其值为0，若两者略有差异，其值就会大于0。

ELBO

全称为 Evidence Lower Bound，即证据下界。主要常出现在变分推断当中。