Jensen不等式及其详细证明——Emmm...?Emmm...! EM算法(1)

$Emmm...?$
$Emmm...!$
$接下来的几篇博客，我们来聊聊传说中的EM算法$
$Jensen不等式将在之后的EM算法的证明中发挥重要的作用，我们先来瞅一瞅$

---

Jensen不等式

$假设f为凸函数，X是一个随机变量$
$则有$
$E[f(X)] \ge f[E(X)]$
$进一步地，若f是严格凸函数，则：$
$E[f(X)] \gt f[E(X)]$
$E[f(X)] = f[E(X)]成立的条件是P(X=E[X])=1$

---

证明:
$我们采用数学归纳法:$
$f\left( \sum_{k=1}^{n}a_{k}x_{k} \right) \le \sum^{n}_{k=1}a_{k}f(x_k)$

$当n=1时$
$有a_{1}=1，因此{\color{green}f(a_{1}x_{1})\le a_{1}f(x_1)}显然成立$

$递归步，假设n=k-1(k\ge 2)时不等式成立$
$有:$
$f\left( \sum_{k=1}^{n-1}a_{k}x_{k} \right) \le \sum^{n-1}_{k=1}a_{k}f(x_k)$

$只需要证n=k成立$
$f\left( \sum_{k=1}^{n}a_{k}x_{k} \right)= f\left( a_{n}x_{n} + (1-a_{n})\sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \quad (1)$
$上式将第n项拎出，同时将(1-a_n)提出来，仅是恒等变换而已$
$你问我为何要做此恒等变换，可以想象凸函数的定义:$

$I是定义在凸集C上地某个区间，设f是定义在区间I上的函数，若在I上的任意两点x_{1}, x_{2}和任意的实数\lambda \in (0, 1)，总有$
$f\left (\lambda x_{1} + (1-\lambda)x_2\right ) \le \lambda f(x_1) + (1- \lambda)f(x_2)$
$则称f为I上的凸函数，若将定义中的\le 换成 \lt 也成立，对应可称函数f为对应区间上的严格凸函数$

$所以(1)式，即是为了配凑\lambda 和 (1-\lambda)，我们配凑是有目的的，目的是为了将\lambda 和 (1-\lambda)提出：$

$\begin{aligned} f\left( \sum_{k=1}^{n}a_{k}x_{k} \right) &= f\left( a_{n}x_{n} + (1-a_{n})\sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \\ &\le a_{n}f\left(x_{n}\right) + (1-a_{n}) f\left( \sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \end{aligned} \quad (2)$

$接下来，我们用下，之前n=k-1时, 假设的条件即可，即：$
$f\left( \sum_{k=1}^{n-1} {\color{blue}\frac{a_{k}}{1-a_n}} x_{k} \right) \le \sum^{n-1}_{k=1} {\color{blue}\frac{a_{k}}{1-a_n}} f(x_k) \quad (3)$
$将(3)带入(2)式中，并将公因式(1-a_n)乘入:$

$\begin{aligned} f\left( \sum_{k=1}^{n}a_{k}x_{k} \right) &= f\left( a_{n}x_{n} + (1-a_{n})\sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \\ &\le a_{n}f\left(x_{n}\right) + (1-a_{n}) f\left( \sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \\ &\le a_{n}f\left(x_{n}\right) + (1-a_{n}) \sum^{n-1}_{k=1} {\color{blue}\frac{a_{k}}{1-a_n}} f(x_k)\\ &\le a_{n}f\left(x_{n}\right) + \sum^{n-1}_{k=1} a_{k} f(x_k)\\ &\le \sum^{n}_{k=1}a_{k}f(x_k) \end{aligned}$
$所以，n=k(k\ge 2)时，不等式也成立$
证毕