4.1优化问题

基本术语
问题的标准表示
等价问题
参数与谕示问题描述

基本术语

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ h_i(x)=0&i=1,\cdots p \end{matrix}$

$x \in R^n$ 是优化变量也叫决策变量。

$f_0:R^n \rightarrow R$ 为目标函数，或者费用函数。

$f_i:R^n \rightarrow R,i=1,\cdots m$ 是不等式约束函数。

$h_i:R^n \rightarrow R$ 是等式约束函数。

如果m=p=0，即没有约束，此时问题为无约束问题。

在实际生活中可以这样理解该优化问题，即我们要生产产品，其数量为x，要确定生产数量以使得费用最低，而约束函数则可以理解为在实际产生中受到的限制比如资源消耗等。

问题的定义域： $D=(\bigcap dom(f_i))\cap (\bigcap dom(h_i))$

可行点： $x \in D,f_i(x)\leq 0,i=1,\cdots m,h_i(x)=0,i=1,\cdots p$ ，此时x是可行的，x为可行点。

可行集：所以有可行点的集合。

问题的最优值 $p^*=inf \left\{ f_0(x)|f_i(x)\leq 0,i=1,\cdots m,h_i(x)=0,i=1,\cdots p\right \}$

如果问题不可行， $p^*=\infty$ 。如果存在可行解 $x_k:k\rightarrow \infty ,f_0(x_k)\rightarrow -\infty$ ，那么 $p^*=-\infty$ ，此时称问题无下界。

最优点和局部最优点

如果 $x^*$ 是可行的且 $f_0(x^*)=P^*$ ，我们称 $x^*$ 为最优点（解），所有最优解的集合称为最优集，记为 $X_{opt}=\left \{x|f_i(x)\leq 0,i=1,\cdots m,h_i(x)=0,i=1,\cdots p,f_0(x)=p^* \right \}$

称x为局部最优，如果存在 $R>0,f_0(x)=inf\left\{f_0(z)|f_i(z)\leq 0,i=1,\cdots m,h_i(z)=0,i=1,\cdots p,\begin{Vmatrix} z-x \end{Vmatrix}_2\leq R \right \}$

即，x是关于z的优化问题的解：

$minimize\, \, f_0(z) \\ subject\, \, to\, \, \begin{matrix} f_i(z)\leq 0& i=1,\cdots m \\ h_i(z)=0&i=1,\cdots p \\ \begin{Vmatrix} z-x \end{Vmatrix}_2\leq R & \end{matrix}$

例子：

$f_0(x)=1/x,dom(f_0)=R_{++}:p^*=0$ ，但是没有最优点。

$f_0(x)=-log(x),dom(f_0)=R_{++}:p^*=-\infty$ 。

$f_0(x)=xlog(x),dom(f_0)=R_{++},p^*=-1/e,x=1/e$ 是最优点。

$f_0(x)=x^3-3x,p^*=-\infty$ ，但有局部最优点在x=1。

min VS minimize

minimize不是min。min是一个取最小值的函数，比如min{0,-1,2}=-1。minimize是优化问题中的一部分，不是对一组数中取出最小值，而是针对一个目标函数，找到使目标函数最小的点。

问题的标准表示

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ h_i(x)=0&i=1,\cdots p \end{matrix}$

为问题的标准表示形式。

如果是极大问题，即

$maximize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ h_i(x)=0&i=1,\cdots p \end{matrix}$

可以将目标函数理解为效用函数。极大化问题变极小化问题只需对目标函数取相反数。

等价问题

如果从一个问题的解，很容易就能得到另一个问题的解，反之亦然，则称两个问题是等价的。

产生等价问题的变换包括：变量变换、目标函数与约束函数变换、松弛变量、消除等式约束、消除线性等式约束、引入等式约束、优化部分变量、上境图问题形式、隐式与显示约束。这里只简单介绍变量变换、目标函数与约束函数变换、消除等式约束。其他的在4.2节。

变量变换

$\phi :R^n\rightarrow R^n$ 是一一映射，其像包含定义域D，即 $\phi(dom \phi)\supseteq D$ ，定义函数 $\tilde{f_i}(z)=f_i(\phi(z)),i=0,\cdots m,\tilde{h_i}(z)=h_i(\phi(z)),i=1,\cdots p,$

问题变为：

$minimize\, \, \tilde {f_0}(z) \\ subject\, \, to\, \, \begin{matrix} \tilde {f_i}(z)\leq 0& i=1,\cdots m \\ \tilde {h_i}(z)=0&i=1,\cdots p \end{matrix}$

目标函数与约束函数变换

$\varphi _0:R\rightarrow R$ 单增， $\varphi _1,\varphi_2\cdots \varphi_m:R\rightarrow R$ 满足当且仅当 $u\leq 0$ 时， $\varphi _i(u)=0$ , $\varphi _{m+1},\varphi_{m+2}\cdots \varphi_{m+p}:R\rightarrow R$ 满足当且仅当 $u= 0$ 时， $\varphi _i(u)=0$ ，则定义函数：

$\tilde{f_i}(x)=\varphi _i(f_i(x)),i=0,\cdots m,\tilde{h_i}(x)=\varphi _{m+i}(h_i(x)),i=1,\cdots p$ ，问题变为：

$minimize\, \, \tilde {f_0}(x) \\ subject\, \, to\, \, \begin{matrix} \tilde {f_i}(x)\leq 0& i=1,\cdots m \\ \tilde {h_i}(x)=0&i=1,\cdots p \end{matrix}$