4.2凸优化

标准形式的凸优化问题
局部最优解与全局最优解
可微函数 $f_0$ 的最优性准则
等价的凸问题
拟凸优化

标准形式的凸优化问题

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ a_i^T=b_i&i=1,\cdots p \end{matrix}$

$f_0,d_1,f_2\cdots ,f_m$ 是凸函数，等式约束是仿射函数。则此优化问题是凸优化问题。

也可以写成

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ Ax=b& \end{matrix}$

重要性质：凸优化问题的可行集也是凸集。

证明：可行集是满足不等式约束和等式约束的点的集合，首先不等式约束函数 $f_i$ 是凸函数，满足不等式约束 $f_i(x)\leq 0$ 的x，相当于是 $f_i$ 的0-下水平集，凸函数的下水平集是凸集，所以满足每个不等式约束的x均是凸集，同时满足这些不等式约束的x是这些凸集的交集仍为凸集。对于等式约束，满足每个仿射函数的x是凸集，同时满足多个仿射函数的x是凸集的交集也是凸集。同时考虑不等式约束和等式约束，可知凸优化问题的可行集也是凸集。

例子：

$minimize\, \, f_0(x)=x_1^2+x_2^2 \\ subject\, \, to\, \, \begin{matrix} f_1(x)=x_1/(1+x_2^2)\leq 0& \\ h_1(x)=(x_1+x_2)^2=0& \end{matrix}$

首先判断可行集，由两个约束函数可推出 $x_1+x_2=0,x_1\leq 0$ ，可知可行集是凸集。

$f_0$ 是凸函数。但是这不是一个凸优化问题，因为其不等式约束函数不是凸函数，等式约束函数也不是仿射函数。

但可以得到其等价的凸优化问题：

$minimize\, \, f_0(x)=x_1^2+x_2^2 \\ subject\, \, to\, \, \begin{matrix} f_1(x)=x_1\leq 0& \\ h_1(x)=x_1+x_2=0& \end{matrix}$

局部最优解与全局最优解

凸优化问题的基础性质:局部最优解也是全局最优解。

证明：

假设x是局部最优解，且存在一个可行点y， $f_0(y)\leq f_0(x)$ 。

因为x是局部最优解，故存在一些R，

$R>0,f_0(x)=inf\left \{ f_0(z)|z\, is \, feasible,\begin{Vmatrix} z-x \end{Vmatrix}_2\leq R\right \}$

因为凸优化问题的可行集是凸集，故取 $\forall \theta \in[0,1],z=\theta y+(1-\theta)x$ 都属于可行集。

因为 $f_0(y)\leq f_0(x)$ ，故 $\begin{Vmatrix} y-x \end{Vmatrix}_2> R$ ，此时令 $\theta =\frac{R}{2\begin{Vmatrix} y-x \end{Vmatrix}_2}$ 。可知 $\theta \in(0,1/2)$ 此时

$\begin{Vmatrix} z-x \end{Vmatrix}_2= \begin{Vmatrix} -\theta x+\theta y \end{Vmatrix}_2 =\begin{Vmatrix} \theta(y-x) \end{Vmatrix}_2$

$= \begin{Vmatrix} \frac{R}{2\begin{Vmatrix}y-x \end{Vmatrix}_2}(y-x) \end{Vmatrix}_2= \frac{R}{2\begin{Vmatrix}y-x \end{Vmatrix}_2}\begin{Vmatrix} (y-x) \end{Vmatrix}_2=R/2< R$

$\Rightarrow f_0(z)\geq f_0(x)$

而根据凸函数性质：

$f_0(z)=f_0(\theta y+(1-\theta)x)\leq \theta f_0(y)+(1-\theta)f_0(x)< f_0(x)$

与上式矛盾。故凸优化问题中局部最优解就是全局最优解。

可微函数 $f_0$ 的最优性准则

当 $f_0$ 是可微凸函数时，根据凸函数一阶条件，可知 $\forall x,y\in dom(f_0),f_0(y)\geq f_0(x)+\bigtriangledown ^Tf_0(x)(y-x)$

如果x是最优解，对任意的y属于可行集，首先满足 $f_0(y)\geq f_0(x)+\bigtriangledown ^Tf_0(x)(y-x)$ ，同时满足 $f_0(y)\geq f_0(x)$ 。所以x是最优解的充要条件就是对任意的y属于可行集， $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$

$\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 等价于 $-\bigtriangledown ^Tf_0(x)(y-x)\leq 0$ ，故几何上如果 $\bigtriangledown ^Tf_0(x)\neq 0$ ， $-\bigtriangledown ^Tf_0(x)$ 在可行集上定义了一个支撑超平面。

1）对于无约束问题：

可行集就是 $f_0$ 的定义域，所以x是最优解的充要条件就是 $\bigtriangledown f_0(x)=0$ 。

证明：因为 $f_0$ 可微，所以其定义域是开的，因此与x足够近的点都可行，取 $y=-t\bigtriangledown f_0(x),t\in R$ ,t为很小正数时，y可行，于是

$\bigtriangledown ^Tf_0(x)(y-x)= -t\bigtriangledown ^Tf_0(x) \bigtriangledown f_0(x)=-t\begin{Vmatrix}\bigtriangledown f_0(x) \end{Vmatrix}_2$ ，要想满足 $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ ，只能 $\bigtriangledown f_0(x)=0$ 。

2)对于只有等式约束的问题:

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} Ax=b& \end{matrix}$

可行解的最优性条件：对任意的y属于可行集，即 $\forall \left \{ y|Ay=b \right \}$ , $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ ，因为x,y都是可行解，令 $y=x+v,\forall v\in N(A)$ ,N(A)表示矩阵A的零空间， $v\in N(A)\Leftrightarrow Av=0$ ,

将x,y代入最优条件： $\bigtriangledown ^Tf_0(x)v\geq 0,\forall v\in N(A)$ ，即线性函数非负，故 $\bigtriangledown ^Tf_0(x)v=0,\forall v\in N(A)$

$\bigtriangledown f_0(x)\perp N(A)$ 又因为 $N(A)^{\perp }=R(A^T)$

$\Rightarrow \bigtriangledown f_0(x)\in R(A^T)\Rightarrow \exists v\in R^p,A^Tv=\bigtriangledown f_0(x)\Leftrightarrow \exists v\in R^p,A^Tv+\bigtriangledown f_0(x)=0$

上述最优性条件也可以拉格朗日乘子法得到，令 $L=f_0(x)+\lambda (Ax-b)$

$\frac{\partial L}{\partial x}=\bigtriangledown f_0(x)+A^T\lambda$ ，令其为0，得到最优性条件。

3)对于非负象限的极小化问题:

$minimize\, \, f_0(x) \, \, \, \\subject\, \, to\, \, x\geq 0$

当x为最优解时，最优性条件： $\forall y\geq 0,$ $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 。而 $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 是y的线性函数，在 $y\geq 0$ 时，如果 $\bigtriangledown ^Tf_0(x)< 0$ 时，函数无下界，即最优条件不可能恒成立，故 $\bigtriangledown ^Tf_0(x)\geq 0$ 。

于是最优条件写成：

$\forall y\geq 0,$ $\bigtriangledown ^Tf_0(x)y+(-\bigtriangledown ^Tf_0(x)x)\geq 0$

所以要使上式恒成立要求 $-\bigtriangledown ^Tf_0(x)x\geq 0$ ，而 $\bigtriangledown ^Tf_0(x)\geq 0$ 且 $x\geq 0$ ，所以只能是 $\bigtriangledown ^Tf_0(x)x=0$

即 $\sum _{i=1}^n(\bigtriangledown f_0(x))_ix_i=0$

等价的凸问题

保持问题凸性的转换有：消除等式约束、引入等式约束、引入松弛变量、上境图问题形式、极小化部分变量

消除等式约束

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ Ax=b& \end{matrix}$

等价于

$minimize\, \, f_0(Fz+x_0) \\ subject\, \, to\, \, \begin{matrix} f_i(Fz+x_0)\leq 0& i=1,\cdots m \end{matrix}$

$x_0$ 是Ax=b的特解，F的列可以长成A的零空间。

引入等式约束

$minimize\, \, f_0(A_0x+b_0) \\ subject\, \, to\, \, \begin{matrix} f_i(A_ix+b_i)\leq 0& i=1,\cdots m \end{matrix}$

等价于

$minimize\, \, f_0(y_0) \\ subject\, \, to\, \, \begin{matrix} f_i(y_i)\leq 0& i=1,\cdots m \\y_i=A_ix+b_i& i=1,\cdots m\end{matrix}$

引入松弛变量

$minimize\, \, f_0(x) \\ subject\, \, to\, \, a_i^Tx\leq b_i,i=1,2\cdots m$

等价于

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} a_i^Tx+ s_i=b_i,i=1,2\cdots m \\ s_i\geq 0,i=1,2\cdots m \end{matrix}$

上境图形式

凸优化问题的上境图形式：

$minimize\, \, t \\ subject\, \, to\, \, \begin{matrix} f_0(x)-t\leq 0 \\ f_i(x)\leq 0,i=1,2\cdots m \\ a_i^Tx=b_i ,i=1,2\cdots p \end{matrix}$

极小化部分变量

极小化凸函数的部分变量将保持凸性不变，

$minimize\, \, f_0(x_1,x_2) \\ subject\, \, to\, \, \begin{matrix} f_i(x_1)\leq 0& i=1,\cdots m \end{matrix}$

等价于

$minimize\, \, \tilde{f_0}(x_1) \\ subject\, \, to\, \, \begin{matrix} f_i(x_1)\leq 0& i=1,\cdots m\end{matrix}$

$\tilde{f_0}(x_1) =\underset{x_2}{sup}\, f_0(x_1,x_2)$

拟凸优化

拟凸优化的标准形式

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ a_i^T=b_i&i=1,\cdots p \end{matrix}$

$f_1,f_2\cdots ,f_m$ 是凸函数，等式约束是仿射函数， $f_0$ 是拟凸函数。则此优化问题是拟凸优化问题。

拟凸优化问题的局部最优解不一定是全局最优解。

如上图 $(x,f_0(x))$ 是局部最优解但是不是全局最优解。

用一族凸函数不等式表示拟凸函数的下水平集

选择一族凸函数 $\phi _t:R^n\rightarrow R,t \in R$ ，t是凸函数的编号，这些函数满足：

$f(x)\leq t\Leftrightarrow \phi _t(x)\leq 0$ ，即拟凸函数的t下水平集是凸函数 $\phi _t$ 的0下水平集。

并且，对于每个x， $\phi _t(x)$ 都是t的非增函数。

注意：t固定时，每个 $\phi _t(x)$ 是x的凸函数。

例子：

$f_0(x)=p(x)/q(x)$ ，其中p是凸函数，q是凹函数，在定义域上， $p(x)\geq 0,q(x)> 0$ 。

则可取 $\phi _t(x)=p(x)-tq(x)$

说明：（1） $\phi _t(x)$ 是凸的：p是凸的，q是凹的，但-q是凸的，所以 $\phi _t(x)$ 是凸的。

（2）满足： $p(x)/q(x)\leq t\Leftrightarrow \phi _t(x)\leq 0$

求解拟凸优化的二分法

思想：有一个区间，包含最优解，取区间的中点，判断最优解在上半区间还是下半区间，然后更新区间，不断将区间缩小为原来的一般直到找到足够小的区间。

算法：

给定 $l\leq p^*,u\geq p^*$ ，容忍度 $\varepsilon >0$

重复一下步骤:

$t=(l+u)/2$
求解凸可行性问题
如果问题可行，u=t，否则l=t

直到 $u-l< \varepsilon$

凸优化第四章凸优化问题 4.2凸优化

4.2凸优化

标准形式的凸优化问题

局部最优解与全局最优解