凸函数的几何理解

版权声明：王家林大咖2018年新书《SPARK大数据商业实战三部曲》清华大学出版，微信公众号：从零起步学习人工智能 https://blog.csdn.net/duan_zhihua/article/details/85769579

凸函数的几何理解：

Let {\displaystyle X} be a convex set in a real vector space and let {\displaystyle f:X\rightarrow {\text{R}}} be a function.

• f is called convex if:

{\displaystyle \forall x_{1},x_{2}\in X,\forall t\in [0,1]:\qquad f(tx_{1}+(1-t)x_{2})\leq tf(x_{1})+(1-t)f(x_{2}).}

• f is called strictly convex if:

{\displaystyle \forall x_{1}\neq x_{2}\in X,\forall t\in (0,1):\qquad f(tx_{1}+(1-t)x_{2})<tf(x_{1})+(1-t)f(x_{2}).}

• A function f is said to be (strictly) concave if −f is (strictly) convex

凸函数的几何理解：

(x,f(x)),(y,f(y))是凸函数上的两个点，x，y是横坐标，θ点在x，y之间滑动，以x点为基准点，θ点在x点的基础上加上一个偏移量θ(y-x)，即x+θ(y-x),转换以后θ的横坐标为（1-θ）x+y 。同样的，可以理解f 函数值的计算。

高等数学中的函数的凹凸性和机器学习中凸函数的定义描述不同，高等数学中的凹函数理解为机器学习中的凸函数。