深度学习/机器学习入门基础数学知识整理（五）：Jensen不等式简单理解，共轭函数

版权声明：本文为博主原创文章，欢迎转载分享，请注明本文出自Bin的专栏：http://blog.csdn.net/xbinworld https://blog.csdn.net/xbinworld/article/details/81255553

Jensen不等式及其延伸

凸函数最基本的不等式性质，又称Jensen不等式[1]

$$f(\theta x+(1-\theta)y)\leq \theta\ f(x)+ (1-\theta)\ f(y)$$

通俗一点讲就是，期望的函数值小于等于函数值的期望。

许多著名的不等式都是由Jensen不等式在取特定的凸函数下延伸出来的，如均值不等式、Holder不等式（摘自convex optimization书）

共轭函数

定义：假设 $f:R^n→R$， 函数 $f$的共轭函数 $f:R^n→R$定义为

$$f^{*}(y)=\sup_{x\in\mathbf{dom}\ f} (y^Tx-f(x))$$
显然，定义式的右端是关于y的仿射函数，对它们逐点求上确界(sup)，得到的函数 $f^∗(y)$一定是凸函数，因此共轭函数必为凸函数。注意： 这里其实并没有要求$f$本身是凸函数。

共轭函数由来：凸函数的共轭函数的共轭函数是其本身。

对共轭函数的理解：如果函数$f$可微，对于每一固定的$y$，在满足 $f′(x)=y$的点$x$处差值最大，如图

举例一些典型共轭函数（参考[2]，写的比较清楚了，就借用一下，推荐有兴趣的同学可以手推一下，基本思路就是先确定有效定义域，然后求导等于0求max的x取值，用y的函数表示，然后带回共轭函数的定义式子$y^Tx-f(x)$）：

共轭函数有一些性质，这里只举例2个最简单的：

参考资料

[1] http://olivernote.space/2017/02/10/convex-optimization2/
[2] Convex Optimization，Book