4.7向量优化

广义和凸的向量优化问题
最优解与值
Pareto最优解与值
标量化
多准则优化
例子

广义和凸的向量优化问题

广义向量优化问题

$minimize(K)\,\, f_0(x)\\ subject \, \, to \, \,\begin{matrix} f_i(x)\leq 0,i=1,2,\cdots m\\ h_i(x)=0,i=1,2\cdots p \end{matrix}$

其中 $x\in R^n$ 是优化变量， $K\subseteq R^q$ 是正常锥， $f_0:R^n\rightarrow R^q$ 是目标函数， $f_i:R^n\rightarrow R$ 是不等式约束函数， $h_i:R^n\rightarrow R$ 是等式约束函数。其余标准优化问题的区别在于目标函数不是标量而是向量，且比较目标函数值的方法不再是简单的数的大小，而是有正常锥K定义的广义不等式。故也称标准优化问题为标量优化问题。

凸向量优化问题

$minimize(K)\,\, f_0(x)\\ subject \, \, to \, \,\begin{matrix} f_i(x)\leq 0,i=1,2,\cdots m\\ Ax=b \end{matrix}$

$A\in R^{p\times n}$

即如果目标函数是K-凸的，其不等式约束函数 $f_i,i=1,2\cdots p$ 是凸的，等式约束函数是仿射的，则称问题是凸向量优化问题。

对于向量优化问题，我们是要寻找一个目标函数值在K锥上最优，即最小。但是因为向量优化问题的目标函数是向量，向量并不一定是可比较的，所以就要分情况考虑，类似第二章的最小元和极小元，在向量优化问题中，有两种情况，即最优解和Pareto最优解。

最优解与值

考虑可行点的目标值的集合：

$O=\left \{ f_0(x)|\exists x \in D,f_i(x)\leq 0,i=1,2\cdots m,h_i(x)=0,i=1,2,\cdots p \right \}\sqsubseteq R^q$

称为可达目标值集合，显然如果这个集合中有最小元，那么问题就有最优解，最优解对应的目标函数值为最优值。

回顾最小元的定义：

扫描二维码关注公众号，回复： 5130693 查看本文章

一个集合C有最小元x当且仅当 $\forall y \in C,x\preceq _K y$ ，当且仅当 $C\subseteq x+K$ （x+K表示可以与x相比并且大于等于x的所有元素。）即C中所有元素都可以与x比较，且小于等于x。

考虑向量优化问题有最优解的情况，即可达目标集有最小元的情况，因此向量问题含有最优解 $x^*$ ，即 $O\subseteq f_0(x^*)+K$ ，如下图：

Pareto最优解与值

现考虑可达目标集不含最小元的情况，此时问题不含最优解和最优值，只能在科大目标集中寻找极小元，我们称可达目标集中的极小元为Pareto最优，其对应的目标函数值为Pareto最优值。

回顾集合极小元的定义：

一个集合C有最小元x当且仅当 $\exists y \in C,x\preceq _K y\Rightarrow y=x$ ，当且仅当 $C\cap (x-K)=\left \{ x \right \}$ （x-K表示可以与x相比并且小于等于x的所有元素。）即C中某些元素可以与x比较，且所有可以与x比较的元素都小于等于x。

所以点x是Pareto最优解，当且仅当它是可行的，而且 $(f_0(x)-K)\cap O=\left \{ f_0(x) \right \}$ ，如下图：

一个向量优化问题可以有很多Pareto最优解，Pareto最优值的集合记为P，它满足 $P\subseteq O\cap bd(O)$ ，即每一个Pareto最优值都位于可达目标集合变价上的可达标目标值。

标量化

基于对偶广义不等式的极小和最小点的特征，选择任意的 $\lambda \succeq _{K^*} 0$ ，即在任意对偶广义不等式中为正的向量，考虑标量优化问题

$minimize \, \,\lambda ^Tf_0(x) \\ subject \, \, to \, \,\begin{matrix} f_i(x)\leq 0 & i=1,2\cdots m\\ h_i(x)=0 & i=1,2\cdots p \end{matrix}$

标量优化问题的最优解是对应的向量优化问题的Pareto最优解。向量 $\lambda$ 有时称为权向量。

上图显示了不同的 $\lambda$ 值对应不同的Pareto最优解，注：某些Pareto最优点不能有任何权向量 $\lambda \succeq _{K^*} 0$ 找到。

从几何角度来看，点x是标量化问题的最优解，即在可行集上极小化了 $\lambda ^Tf_0$ ，当且仅当对于所有可行的y，有 $\lambda ^T(f_0(y)-f_0(x))\geq 0$ 相当于 $\left \{ u|-\lambda ^T(u-f_0(x))=0 \right \}$ 是可达目标值集合O在 $f_0(x)$ 处的支撑超平面。

对于凸向量优化问题，当权向量遍历 $K^*$ -非负的非零向量，标量化方法可以得到所有Pareto最优解。

多准则优化

当向量优化函数关于锥 $K=R_+^q$ 时，他称为多准则或多目标优化问题。

$f_0(x)=(F_1(x),F_2(x),\cdots F_q(x))$ ，q个不同的目标函数，简单地说就是同时极小化这q个目标函数的值。

如果 $f_1\cdots f_q,h_1\cdots h_p,F_1\cdots F_q$ 是凸的，则该多准则优化问题是凸问题。

因为是多个目标函数同时极小化，一种好的情况是可以得到一个最优解x同时极小化这q个目标函数，但很多情况下往往找不到一个同时极小化这q个目标函数的最优解，很可能只能极小化其中的一部分，·而不能极大化其他的目标函数，这时候就需要作出一些取舍和权衡，选择极小化更重要的目标函数。

标量化多准则问题

跟标量化类似，通过加权和目标函数来标量化多准则问题

$\lambda ^Tf_0(x)=\sum _{i=1}^q\lambda _iF_i(x)$

所以通过设置权向量就可以有倾向地选择目标函数，比如可以为更重要的目标函数分量设置更大的权值。

例子

正则化最小二乘

$minimize \, \, f_0(x)=(\begin{Vmatrix} Ax-b \end{Vmatrix}_2^2,\begin{Vmatrix} x \end{Vmatrix}_2^2)$

$\lambda ^Tf_0(x)=\lambda _1F_1(x)+\lambda _2F_2(x)=\lambda _1\begin{Vmatrix}Ax-b \end{Vmatrix}_2^2+\lambda _2\begin{Vmatrix} x\end{Vmatrix}_2^2$

$=\lambda _1(x^TA^TAx-2b^TAx+b^Tb)+\lambda _2x^Tx$

$=x^T(\lambda _1A^TA+\lambda _2I)x-2\lambda _1b^TAx+\lambda _1b^Tb$

对x求导：

$\frac{\partial \lambda ^Tf_0(x)}{\partial x}=2(\lambda _1A^TA+\lambda _2I)x-2\lambda _1A^Tb$

令其为0，得到 $x=(\lambda _1A^TA+\lambda _2I)^{-1}\lambda _1A^Tb$ ，整理得到 $x=(\lambda _1A^TA+\lambda _2I)^{-1}\lambda _1A^Tb =(A^TA+\frac{\lambda _2}{\lambda _1}I)^{-1}\frac{\lambda _1}{\lambda _1}A^Tb=(A^TA+\mu I)^{-1}A^Tb$