凸集、凸函数与凸规划

1. 凸集

设 $S$是 $n$维欧式空间 $\R^n$中的一个集合，若对 $S$中任意两点连线上的点仍属于 $S$，则称 $S$集为凸集，即
$x^{(1)}+\lambda[x^{(2)}-x^{(1)}] \in S$

2. 凸函数

设 $f$是定义在 $S$上的实函数，若连接函数 $f$曲线上任意两点的弦不在曲线下方，则称函数 $f$为 $S$集上的凸函数，即
$f(x^{(1)}+\lambda(x^{(2)} - x^{(1)}))\leq f(x^{(1)}) + \lambda(f(x^{(2)})-f(x^{(1)}))$

证明： 若 $x_1< x < x_2$， $0 < \lambda <1，$则 $x=x_1 + \lambda(x_2 - x_1)$，由定义可知函数 $f$曲线上任意两点的弦不在曲线下方（函数值较小），故
$\frac{y-y_1}{y_2-y_1}=\frac{x-x_1}{x_2-x_1} \implies \frac{f(x_1+\lambda(x_2-x_1))-f(x_1)}{f(x_2)-f(x_1)}\leq\frac{x_1+\lambda(x_2-x_1)}{x_2-x_1}$

因此 $f(x_1+\lambda(x_2-x_1)) \leq f(x_1)+\lambda(f(x_2)-f(x_1))$，不等式得证。

2.1 凸函数一阶判别公式

设 $f$是定义在凸集 $S$上的可微函数，则 $f(x)$为凸函数的充要条件是
$f(x^{(2)})\geq f(x^{(1)})+\nabla f(x^{(1)})^T(x^{(2)}-x^{(1)})$

证明： 先证必要性，由 $f(x_1+\lambda(x_2-x_1)) \leq f(x_1)+\lambda(f(x_2)-f(x_1))$，得
$f(x_2)\geq f(x_1)+\frac{f(x_1+\lambda(x_2-x_1))-f(x_1)}{\lambda (x_2-x_1)}(x_2-x_1)$

显然当 $\lambda \to 0$时， $f(x_2)\geq f(x_1)+f'(x_1)(x_2-x_1)$，必要性得证。
再证充分性，由 $f(x)\geq f(y)+f'(y)(x-y)$，因此
$f(x_1) \geq f(y)+f'(y)(x_1-y),\quad f(x_2) \geq f(y)+f'(y)(x_2-y)$

因此令 $y=x_1+\lambda(x_2-x_1)$，上面左侧不等式两侧乘 $(1-\lambda)$、右侧不等式两侧乘 $\lambda$，合并两个不等式得
$(1-\lambda)f(x_1)+\lambda f(x_2) \geq f(y) + f'(y)[x_1+\lambda(x_2-x_1) - y]=f(y)$

显然 $f(x_1+\lambda(x_2-x_1)) \leq f(x_1)+\lambda(f(x_2)-f(x_1))$，充分性得证。

2.2 凸函数二阶判别公式

设 $f$是定义在凸集 $S$上的二阶可微函数，则 $f(x)$为凸函数的充要条件是在任意 $x$处，Hesse矩阵半正定。

证明： 先证必要性，对任一点 $\overline x \in S$，存在 $\lambda \in [-1, 1]$，有 $\overline x + \lambda x \in S$，因此
$f(\overline x + \lambda x) \geq f(\overline x) + \lambda \nabla f(\overline x)^T x$

由 $f(x)$在点 $\overline x$处二次可微，则
$f(\overline x + \lambda x)=f(\overline x) + \lambda\nabla f(\overline x)^Tx+\frac{\lambda^2}{2}x^T\nabla^2f(\overline x)x + o(||\lambda x||^2)$

则
$\frac{\lambda^2}{2}x^T\nabla^2f(\overline x)x + o(||\lambda x||^2) \geq 0 \implies x^T\nabla^2f(\overline x)x \geq 0$

再证充分性，设Hesse矩阵 $\nabla^2f(x)$在每一点 $x\in S$处半正定，对任意 $\overline x, x\in S$，依中值定理得
$f(x) = f(\overline x) + \nabla f(\overline x)^T(x-\overline x)+\frac{1}{2}(x-\overline x)^2\nabla^2f(\hat x)(x-\overline x)$

其中 $\hat x=\lambda\overline x + (1-\lambda)x$， $S$为凸集，因此当 $\hat x \in S$且 $\nabla^2f(\hat x)$半正定时，必有
$(x-\overline x)^T\nabla^2f(\hat x)(x-\overline x)\geq 0$

故 $f(x)\geq f(\overline x)+\nabla f(\overline x)^T(x-\overline x)$，充分性得证。

3. 凸规划

极小化问题 $\min_x \quad f(x); \quad s.t. \quad g_i(x) \leq 0, \quad h_i(x)=0$

上式 $g_i(x)$为凸函数，线性函数 $h_i(x)$既是凸函数又是凹函数。这类求凸函数在凸集上的极小点的问题，称为凸规划。

重要性质：凸规划的局部极小点就是全局极小点。
证明：由 $\nabla f(\overline x)=0$，显然 $f(x)\geq f(\overline x)$，即 $f(\overline x)$为全局极小点。