凸函数成立的一阶与二阶条件

   本文主要是针对凸函数成立的一阶和二阶充要条件进行描述和简单证明。

1、凸函数成立的一阶条件

【定理1】对于函数 $J:\Omega \rightarrow \mathbb{R}$， $J$为凸函数，当且仅当 $\forall \bf{x},\bf{y}\in \Omega$，有
$J({\bf y})\ge J({\bf x})+\triangledown J({\bf x})^{\rm T}(\bf{y}-\bf{x}).$

【证明】
（1）必要性证明。
设 ${\bf z}=t {\bf y}+(1-t){\bf x}={\bf x}+t(\bf y-x)$，由于 $J$为凸函数，因此
$J[{\bf x}+t({\bf y-x})]\le tJ({\bf y})+(1-t)J({\bf x}),$进一步有
$J({\bf y})\ge J({\bf x})+\lim_{t\rightarrow 0}\frac{J[{\bf x}+t({\bf y-x})] -J({\bf x})}{t},$故
$J({\bf y})\ge J({\bf x})+\triangledown J({\bf x})^{\rm T}(\bf{y}-\bf{x}).$

（2）充分性证明。
设 ${\bf z}=\theta {\bf y}+(1-\theta){\bf x}$，将
$J({\bf x})\ge J({\bf z})+\triangledown J({\bf z})^{\rm T}(\bf{x}-\bf{z})$ $J({\bf y})\ge J({\bf z})+\triangledown J({\bf z})^{\rm T}(\bf{y}-\bf{z})$分别乘以 $1-\theta$和 $\theta$，则有
$\theta J({\bf y})+(1-\theta)J({\bf x})\ge J({\bf z})+\theta \triangledown J({\bf z})^{\rm T}[\theta {\bf y}+(1-\theta) {\bf x}-{\bf z}]=J({\bf z})$由此可以得到
$J[\theta {\bf y}+(1-\theta){\bf x}]\le \theta J({\bf y})+(1-\theta)J({\bf x}).$

2、凸函数成立的二阶条件

【定理2】对于函数 $J:\Omega \rightarrow \mathbb{R}$， $J$为凸函数，当且仅当 $\forall {\bf x} \in \Omega$，其Hessian矩阵 $\triangledown^2J({\bf x})$半正定。

【证明】

（1）必要性证明。
根据泰勒级数展开，对于小的实数 $\lambda>0$，我们可以得到
$J({\bf x+\lambda d})=J({\bf x})+\lambda\triangledown J({\bf x})^{\rm T}{\bf d}+\frac{\lambda^2}{2}{\bf d}^{\rm T}\triangledown^2 J({\bf x})^{\rm T}{\bf d}+{\mathcal o}(||\lambda{\bf d}||^2)$
由于 $J$为凸函数，根据定理1有
$J({\bf x+\lambda d})\ge J({\bf x})+\lambda\triangledown J({\bf x})^{\rm T}{\bf d}$因此， $\frac{\lambda^2}{2}{\bf d}^{\rm T}\triangledown^2 J({\bf x})^{\rm T}{\bf d}+{\mathcal o}(||\lambda{\bf d}||^2)\ge 0$
将上式除以 $\lambda ^2$并使得 $\lambda \rightarrow 0^+$，可以得到对于任意的 ${\bf d} \in {\mathbb R^n}:{\bf d}^{\rm T}\triangledown^2 J({\bf x})^{\rm T}{\bf d}\ge 0$。

（2）充分性证明。
$J({\bf y})=J({\bf x})+\triangledown J({\bf x})^{\rm T}({\bf y}-{\bf x})+\frac{1}{2}({\bf y}-{\bf x})^{\rm T}\triangledown^2 J({\bf x})^{\rm T}({\bf y}-{\bf x})$由于Hessian矩阵半正定，因此
$J({\bf y})\ge J({\bf x})+\triangledown J({\bf x})^{\rm T}({\bf y}-{\bf x})$由定理1可证 $J$为凸函数。

---

【参考文献】
[1] S.Boyd etc., Convex Optimization.
[2] Yaron Singer, Lecture 10, AM 221: Advanced Optimization.