Jensen不等式

转载自：碎片化学习之数学（一）：Jensen不等式

定义：对于一个凸函数\(f\)，都有函数值的期望大于等于期望的函数值：\[E[f(x)]\geq f(E[x])\]上式当中\(x\)是一个随机变量，它可以是离散的或者连续的，假设\(x~p(x)\) 。
回顾一下凸函数的定义：对于任意的值\(x_1,x_2\)，且对任意的\(0\leq t \leq 1\)，都有：\[tf(x_1)+(1-t)f(x_2)\geq f(tx_1+(1-t)x_2)\]上面的定义其实就是函数的任意两点之间的函数值都小于等于函数值对应的插值（加权平均）。
对于离散变量 \(p(x=x_i)=p_i,\forall i \in [1,n]\)，式子可以重新写为，其中\(\sum_{i=1}^n p_i=1\):\[E[f(x)]=\sum_{i=1}^n p_if(x_i) \\ f(E[x])=f(\sum_{i=1}^np_ix_i) \\ \Rightarrow \sum_{i=1}^np_if(x_i) \geq f(\sum_{i=1}^np_ix_i) \]
对于连续变量有积分形式：\[E[f(x)]=\int f(x)p(x)dx \\ f(E[x])=f(\int xp(x)dx) \\ \Rightarrow \\ \int f(x)p(x)dx \geq f(\int xp(x)dx)\]
对于定积分形式有：\[\int_a^b f(x)p(x)dx\geq f(\int_a^bxp(x)dx)\]
可以看出，上面凸函数的定义是离散形式Jensen不等式的一种特殊情况(令\(n=2,p_1=t,p_2=1-t\))。