出处：http://www.fengchang.cc/post/85
吴恩达老师的讲义，说得比较清楚：我的圈评
另一个比较好的有代码的讲解：这里
可以解决一类带有潜变量的估计问题。
理论基础之一：詹森不等式，即对凸函数(convex)有如下定理：
特别注意其中的相等条件。
对凹函数(concave)结论类似但相反。
现在想用训练数据来训练一个概率模型，p(x,z)，其中z为潜变量，似然函数也给出如下：
问题来了，
第一，这个似然函数为毛选log?答：这是个凹函数，可以用詹森不等式。
第二，如何最大化该似然函数？答：
直接的方式找参数来最大化该似然函数是很难，EM算法就是通过一种间接的方法来处理的。如何间接呢？就是用詹森不等式找到一个该似然函数的下界。然后，迭代优化改下界。整体思路就是这样。
具体技巧在于如何通过一系列代数的技巧，构造一个詹森不等式出来。并可以证明，迭代过程是收敛的，这样就可以得到最终满足条件的参数。