前篇已经对EM过程,举了扔硬币和高斯分布等案例来直观认识了, 目标是参数估计, 分为 E-step 和 M-step, 不断循环, 直到收敛则求出了近似的估计参数, 不多说了, 本篇不说栗子, 直接来推导一波.
Jensen 不等式
在满足:
一个 concave 函数, 即 形状为 "\(\bigcap\)" 的函数 \(f(x)\)
- \(\lambda_j \ge 0\)
\(\sum \limits _j \lambda_j = 1\) 类似于随机变量的分布
的前提条件下, 则有不等式:
\(f(\sum \limits _j \lambda_j x_j) \ge \sum \limits _j \lambda_j f(x_j)\)
恒成立, 则该不等式称为 Jensen 不等式. 是有些不太直观哦, (sum 是最后哦, 有时候会犯晕).
为了更直观一点, 考虑 \(\lambda\) 只有两个值, 即:
\(\lambda_1 = 1-t \\ \lambda_2 = 1\)
\(其中, 0 \leqslant t \leqslant 1\)
"\(\bigcap\)" 函数 f(x) 中有一段区间 [a, b], 构造出该 范围内的一个点 \(x_t\)
当, \(x_t = (1+t)a + tb\) 则有:
\(f((1-t)a +tb) \ge (1-t)f(a) + tf(b)\)
这里跟之前写过的 convex 其实是一模一样的, 要是还不直观, 就自个画个草图就秒懂了.
左边是函数的值, 右边连接两个端点a,b的函数值的 直线, 因为是 "\(\bigcap 的\)", 故函数值必然在直线的上方.
用数学归纳法, 当 M > 2:
\(f(\sum \limits _{j=1}^M \lambda_j x_j) \ge \sum \limits _{j=1}^M \lambda_j f(x_j)\)
EM算法推导
假设给定一个包含 n 个独立的训练样本的数据集, \(D = \{ x_1, x_2, x_3...x_n) \}\) 希望拟合一个概率模型 \(p(x, z)\) , 其对数似然函数(log likelihood) 为:
为啥要 log, 乘法变加法, 不太想说了, 自己都重复吐血了
似然, 不加log 前是: \(l(\theta) = \prod \limits _{i=1}^n p(x; \theta)\) 的嘛, 样本的联合概率最大
\(l(\theta) = \sum \limits _{i=1}^n log \ p(x; \theta)\)
$ = \sum \limits {i=1}^n log \sum \limits {z} p(x, z; \theta)$
理解
\(\sum \limits _{z} p(x, z; \theta)\) 给定 \(\theta\) 的前提下, 关于 x, z 的 联合概率
跟之前扔硬币是一样的, 对于每个独立数据的产生, 其实还有一个隐含的因素 z (扔硬币中,到底这次试验是来自于硬币A 还是硬币B
每个Z因素, 影响着 p(x,z) 的 联合概率分布. 考虑所有的 z, 则是全概率了呀.
- 对于 \(p(x; \theta)\) 直接通过 x 来观测 \(\theta\) 比较难 (扔硬币中, 没有上帝视角, 不知道扔结果是哪个硬币产生的)
- \(z^{(i)}\) 是一个隐变量(latent), 如果能观测到 \(z^{(i)}\) 则参数预测会容易很多, EM算法就是来解决这个问题的
EM 算法呢, 分为两个步骤:
- 在 E 步中, 构建 \(l(\theta)\) 的下界函数 (给定 \(\theta\) 来找 z)
- 在 M 步中, 最大化 这个下界函数
不太直观, 就回顾上篇扔硬币的栗子, 这里的 z 就是那个 来自哪里A 还是 B 的概率(每次试验)
设 \(Q_i\) 为关于 z 的概率分布, 即 \(\sum \limits _{z} Q_i(z) = 1\) (z 如是连续变量则 \(\sum \rightarrow \int_z\)) ,
则对于上面的对数似然函数:
\(= \sum \limits _{i=1}^n log \ \sum \limits _{z} p(x_i, z_i; \theta) \ (1)\)
对 p 的部分, 同时 乘上 和除以 \(Q_i(z_i)\) 不改变等式 , 这种技巧, 中学的 "配平方 或 数列裂项求和" 一样滴
$ = \sum \limits i log \sum \limits {z_i} Q_i(z_i) \frac {p(x_i, z_i; \theta)}{Q_i(z_i) } (2)$
log 函数是 concave 的, 联想 jensen不等式
\(f(\sum \limits _j \lambda_j x_j) \ge \sum \limits _j \lambda_j f(x_j)\)
即 log 对于与 f(); \(\sum \limits _{z_i} Q_i(z_i) 对应于 \sum \limits _j \lambda_j\) ; 最后一项对 \(x_j\)
\(\ge \sum \limits_{i} \sum \limits_{z_i}Q_i(z_i) \ log \frac {p(x_i, z_i; \theta)}{Q_i(z_i) } \ (3)\)
就类似与, 把一个, 函数里面的参数, 提取到 函数外面来. 如还是不理解, 回看之前写的 convex 篇
什么时候会取到 等于?
即当 \(\frac {p(x_i, z_i; \theta)}{Q_i(z_i) } = c\) 是个常数的时候, (2) 和 (3) 是相等的.
即 \(p(x_i, z_i; \theta) = c \ * Q_i(z_i)\) 在 \(\theta\) 给定下, 关于 x, z 的联合概率分布 与 隐变量 z 的分布是一个线性关系
因为 \(\sum \limits_{z_i} Q_i(z_i) = 1\), 如果将 \(Q_i(z_i)\) 认为是 给定 \(x_i 和 z_i\) 的后验概率分布, 这样就得到了该似然函数的一个下界,
根据全概率(后验) 与贝叶斯公式:
\(Q_i(x_i) = \frac {p(x_i, z_i; \theta)}{\sum \limits _{z_i} p(x_i, z_i; \theta)}\)
\(=\frac {p(x_i, z_i; \theta)}{p(x; \theta)}\)
\(=p(z_i|x_i, \theta)\)
相当于求 给定 \(\theta 和 x_i\) 的情况下, 求 z_i 的条件概率, 果然, 深刻理解贝叶斯公式显得多么重要呀
再回顾一波贝叶斯公式:
设A1,A2,A3..构成完备事件组, 则对任意一事件B有:
\(P(A_i|B) = \frac {P(A_i)P(B|A_i)}{\sum \limits _{i=1}^n P(A_i)P(B|A_i)}\)
同上述, 只要当我们取 \(Q_i(z_i)\) 的值为 给定 \(\theta 和 x_i\) 的后验概率分布的时候, 就能保证:
\(\frac {p(x_i, z_i; \theta)}{Q_i(z_i) }\)
的值是一个常数 (反过来推的), 既然是个常数, 也就前面 (3) 的地方可以取 等号 啦, 即:
\(\sum \limits _{i=1}^n log \ \sum \limits _{z} p(x_i, z_i; \theta) = \sum \limits_{i} \sum \limits_{z_i}Q_i(z_i) \ log \frac {p(x_i, z_i; \theta)}{Q_i(z_i) }\)
这样一来, 相当于在 E 步得到了似然函数的一个下界, 然后在 M 步, 求解(3) 最大值时候的参数 \(\theta\) . 然后重复以上的 E, M 步骤:
E-步: For each i:
\(Q_i(z_i) = p(z_i | x_i; \theta)\)
M-步, 更新\(\theta\):
\(\theta = arg \ max _\theta \sum \limits_{i} \sum \limits_{z_i}Q_i(z_i) \ log \frac {p(x_i, z_i; \theta)}{Q_i(z_i) }\)
....
循环直到收敛, 则估计出了 参数 \(\theta\) 但, 万一不收敛呢?, so, 必须证明一波, EM算法是收敛的哦
证明EM算法会收敛
假设 \(\theta^{(t)} 和 \theta^{(t+1)}\) 为EM算法的连续两个步骤的参数值, 欲证\(l (\theta)\)收敛, 只需证:
\(l(\theta^{(t)}) \leq l(\theta^{(t+1)})\)
即可EM算法使得似然函数的值单调递增即可
根据前面关于用 jensen不等式的取等条件, 推导出, 取得 \(Q_i(z_i)^{(t)}\) 的方式是:
\(Q_i ^{(t)} (z_i) = p(z_i | x_i; \theta ^{(t)})\)
此条件下, 使得jensen不等式取等即:
\(l(\theta^{(t)}) = \sum \limits_{i} \sum \limits_{z_i}Q_i(z_i) \ log \frac {p(x_i, z_i; \theta ^t)}{Q_i(z_i) }\)
而参数 \(\theta^{(t+1)}\) 的取值方式, 是使得上面的这个等式的值最大, 则必然 \(l(\theta^{(t+1)}) \ge l(\theta^{(t)})\) 展开一波:
\(l(\theta^{(t+1)}) \ge \sum \limits_{i} \sum \limits_{z_i}Q_i^t(z_i) \ log \frac {p(x_i, z_i; \theta ^{(t+1)})}{Q_i^t(z_i) } \ (4)\)
\(\ge \sum \limits_{i} \sum \limits_{z_i}Q_i^t(z_i) \ log \frac {p(x_i, z_i; \theta^t)}{Q_i^t(z_i) }\ (5)\)
\(=l(\theta^{(t)}) \ (6)\)
- (4) 源于不等式的性质, 必然成立嘛
- (5) 就是取最大值的一个过程必然成立
- (6) 取相等的方式去是应用了 Jensen不等式
即证明了\(l(\theta^{(t)}) \leq l(\theta^{(t+1)})\) , 即EM算法是收敛的呀.
小结
首先是要理解,参数估计的 是在干嘛, 需要回顾统计学的基础知识, 或理解上篇扔硬币的栗子
核心, 用到了一个jensen 不等式, 需要回顾凸函数的一些性质来理解一波
推导的方式呢, 依旧是极大似然估计, 带log (乘法边加法)
推导核心技巧是 全概率与贝叶斯公式, 真正理解太重要, 如LDA, 逻辑回归, 贝叶斯...这些算法都用到了.
证明收敛, 其实只是一些, 推理的技巧, 还是挺有意思的.
总体上, EM算法, 理解起来,我感觉不是很容易, 但, 也没有想象的那样难, 只要肯坚持, 正如爱因斯坦所说的那样嘛, 当然也为了自勉目前在经济和精神双重困境中的自己:
耐心和恒心, 总会获得收获的