EM

EM

1. 基本问题

EM算法是解决带有隐变量模型的方法，基本的模型假设为

由于引入了隐变量 ，使得我们无法通过对 求偏导得到最优解。

2. 推导

根据jesen不等式，对于凹函数，有

其中， ，当且仅当 时，“=”成立。而 是凹函数，因此

且

时，等号成立，取得最紧的下界。
也即

因此，当取得最紧的下界时，任何使得下界提升的都能使提升

3. 算法流程

输入：观测变量数据，隐变量数据，联合分布，条件分布
输出：模型参数
（1）选择参数的初值
（2）E step: 计算在下最紧的下界

（3）M step：