机器智能-高频问题：EM算法

3、EM算法（Expectation maximization），是无监督学习的一种
a、期望最大算法，通过观察数据来学习参数，学到的参数能够满足使得观察数据以最大的可能性出现。与极大后验假说类似。
b、应用：聚类
给定一些观察数据x,假定x符合如下的混合高斯分布：

混合高斯分布是指有多个高斯分布密度函数将他们组合起来。即有多聚类（聚合中心点）。
求混合高斯分布的三组参数：μk、σk、 πk

πk是高斯核的权重，即每个聚类中心点的重要性。
c、聚类初始阶段：开始的数据形式。数据x属于哪个类是未知的，每个高斯分布的参数值也是未知的，只知道有多少个高斯分布。

d、EM算法过程：
①、用随机函数初始化k个高斯分布参数，同时保证
即所有的权重进行随机赋值
②、Expectation：依次取观察数据x,比较x在k个高斯函数中的概率大小，把数据x归到概率最大的某一个类中。看一个数据属于哪一个高斯核，相当于对所有的数据进行重新划分。
p(x|k)
③、更新所有的参数。用最大似然估计使观察数据x出现的概率最大，因为第二步已经将x进行了归类，此步计算高斯参数如下

④、重复步骤2用步骤3得到的新参数对x重新进行归类直到下列概率最大

e、问题求解过程：