机器学习——基础算法（十）

机器学习——基础算法（十）

一、EM算法

注：（一）Jensen不等式：若f是凸函数，则f(Ex)≤Ef(x)

(一)最大似然估计

(1)■找出与样本的分布最接近的概率分布模型。

■简单的例子
■10次 拋硬币的结果是:正正反正正正反反正正
假设p是每次抛硬币结果为正的概率。则:得到这样的实验结果的概率是:
P=pp(1-p)ppp(1-p)（1- p）pp
=p⁷(1-p)³
最优解是: p=0.7

(2)二项分布的最大似然估计

投硬币试验中，进行N次独立试验，n次朝上,N-n次朝下。
假定朝上的概率为p，使用对数似然函数作为目标函数:

（二）EM算法的提出