- 数学基础
- 公式推导
- 习题
1.数学基础
在推导EM算法之前,我们给出两个要用到的数学知识。
1.1Jensen不等式
设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是向量时,如果其hessian矩阵H是半正定的(),那么f是凸函数。如果或者,那么称f是严格凸函数。
特别地,如果f是严格凸函数,那么当且仅当,也就是说X是常量。这里我们将简写为
当f是(严格)凹函数当且仅当-f是(严格)凸函数。
1.2 期望公式中Lazy Statistician规则
(1) X是离散型随机变量,它的分布律为,k=1,2,…。若绝对收敛,则有
2.公式推导
2.1算法基本内容定义:
- 观测数据X
- 隐含数据Z
- 迭代遍历t
- 一共有N个观测数据、N个隐含变量
- 初始公式定义:使用似然估计:
2.2开始推导
由于在电脑上写公式比较累:这一部分我会手写。
3.习题
3.1思想总结:EM就是一个E步M步不断交替优化下界的过程。
3.2习题(暂时没找到合适的 找到补)