标准形式凸优化问题

If an optimization problem is feasible, its optimal value $p^*$ satisfies $p^*>-\infty$

优化问题是可行的，表示问题至少有一个可行点，而可行解可以是 $-\infty$ ，只是此时我们说问题无下界。

If the optimal value $p^*$ of an optimization problem satisfies $p^*<\infty$ , then the problem is feasible.

如果问题不可行， $p^*=\infty$ ,而当 $p^*<\infty$ 时，表示问题可行。

凸优化问题

Consider the optimization problem

$\begin{array}{ll} \mbox{minimize} & x_1^2 \\ \mbox{subject to} & x_1 \leq -1 \\ & x_1^2 + x_2^2 \leq 2 \end{array}$

with variable $x = (x_1,x_2)$ .

Give a solution to this problem in the format $[x_1^\star,x_2^\star]$ ; for example, if you think that $x=(1,2)$ is a solution, enter [1,2] in the answer box.

对此问题最优解的获得可以直接通过图解法，画出下图，得到最优解和最优值。

再看问题是否是凸函数，从图可以看出，目标函数和约束函数都是凸函数，所以问题是凸优化问题。

拟凸优化

Let f be a quasiconvex function. Which of the following are true? Check all that apply.

第一个选项：拟凸函数的定义就是下水平集是凸集的函数，正确。

第二个选项：拟凸优化问题与凸优化问题不同的关键就在于：凸优化问题中x是最优解的充要条件是 $\forall y\in X,\bigtriangledown f_0(x)^T(y-x)\leq 0$ ，X表示可行集，所以 $\bigtriangledown f_0(x)=0$ 可以推出x是最优解。拟凸优化问题中，x是最优解的充分条件是 $\forall y\in X\setminus \left \{ x \right \},\bigtriangledown f_0(x)^T(y-x)> 0$ ，所以 $\bigtriangledown f_0(x)=0$ 不能推出x是最优解。

第三个选项：可以用一族凸不等式是来表示拟凸函数的下水平集，求解拟凸函数的算法，就是将其转为等级的凸问题，然后不断最优解所在的区间，求解凸问题。最终在可以接受的情况下，求得拟凸问题的解。

线性优化

Linear programming has an important place in convex optimization because

How many solutions can a linear program have?

Linear programs with fewer constraints than variables are guaranteed to be feasible.

约束少于变量的个数乍一看好像很有道理，但是仔细一想其实少于变量个数个约束也有可能使问题不可行。比如：

有三个变量，两个约束，但两个约束是矛盾的，此时问题不可行。

二次优化

Which of the statements below are true?

QCQP是二次约束二次规划，LP则是一种特殊的二次约束二次规划，即约束函数和目标函数中的二次项为0。同理，SOCP是二阶锥规划，它的不等式约束函数是一个范数小于一个仿射函数即 $\begin{Vmatrix} A_ix+b_i \end{Vmatrix}_2\leq c_i^Tx+d_i$ ，如果其不等式约束函数的仿射函数部分是一个常量即 $c_i=0$ , $\begin{Vmatrix} A_ix+b_i \end{Vmatrix}_2\leq d_i$ ，两边平方 $x^TA_i^TA_ix+2b_i^TA_ix+b_i^Tb_i\leq d_i^Td_i$ ，即 $x^TA_i^TA_ix+2b_i^TA_ix+b_i^Tb_i- d_i^Td_i\leq0$ ，此时SOCP变成了QCQP，而LP又是QCQP的一种特殊情况，所以LP也是SOCP。或者说再令 $A_i$ 为0，SOCP变成LP。

The optimization problem $\begin{array}{ll} \mbox{minimize} & x^TPx + q^Tx + c \end{array}$ is convex if

直接用凸函数二阶条件即可得到。

几何规划

Which of the following statements are true?

第一个选项,正项式和单项式的定义域是 $R^n_{++}$ ，所以f(x,y)的定义域满足条件，再看其函数 $f(x,y)=x/y+y/x=xy^{-1}+yx^{-1}$ 是单项式的和即正项式。

Suppose f,g and h are posynomial functions of a positive variable z. The constraint $f(z) + g(z) \leq h(z)$ can be handled by geometric programming.

首先h,g,f都是正项式，要想将其写成 $\frac{f(z)+g(z)}{h(z)}\leq 1$ ，但是因为h是正项式，不等式左侧不一定是正项式，所以不一定满足集合规划中不等式约束函数的形式。

Let x be a positive vector. If f(x) is the arithmetic mean of the entries of x divided by the geometric mean of its entries, which of the following statements is true?

假设x可以取n个值，由题意可知 $f(x)=\frac{x_1+x_2+\cdots x_n}{(x_1x_2\cdots x_n)^{1/n}}=\sum _{i=1}^n\frac{x_i}{(x_1x_2\cdots x_n)^{1/n}}=\sum _{i=1}^nx_1^{-1/n}x_2^{-1/n}\cdots x_i^{1-1/n}\cdots x_n^{-1/n}$

显然是正项式。

广义不等式约束

Conic form problems are generalizations of linear programs.

锥形式问题其实形式就是LP，只是比较大小的方式限定在了由K-锥引导的广义不等式上。

半定规划

What is the Schur complement of the block D in the matrix M?

$M = \begin{bmatrix} A & B\\ C & D\\ \end{bmatrix}$

Which of the following statements is true?

对于第一个选项，SDP： $minimize \,\, c^Tx \\ subject \, \, to \, \, \begin{matrix} x_1F_1+\cdots +x_nF_n+G\preceq 0\\ Ax=b \end{matrix}$ ，当 $F_i$ 都为对角矩阵时，SDP退化为线性规划。

首先解释为什么当 $G,F_1,\cdots F_n$ 都是对角阵时，那么上式中的线性矩阵不等式等价于n个线性不等式，SDP退化为线性规划

当 $G,F_1,\cdots F_n$ 都是对角阵时，取k=2，n=2，此时约束函数：

$x_1\begin{bmatrix} F^{(1)}_{11} & 0\\ 0 & F^{(1)}_{22} \end{bmatrix}+x_2\begin{bmatrix} F^{(2)}_{11} & 0\\ 0 & F^{(2)}_{22} \end{bmatrix}+\begin{bmatrix} G_{11} & 0\\ 0 & G_{22} \end{bmatrix}\preceq 0$

$\Rightarrow\begin{matrix} x_1F^{(1)}_{11}+x_2F^{(2)}_{11}+G_{11}\preceq 0 \\ x_1F^{(1)}_{22}+x_2F^{(2)}_{22}+G_{22}\preceq 0 \\ \end{matrix}$

显然SDP退化为线性规划。

SOCP和等价的SDP

SOCP：

$minimize \, \, f^Tx \\ subject \,\, to \,\,\begin{Vmatrix} A_ix+b_i\end{Vmatrix}_2\leq c_i^Tx+d_i,i=1,2,\cdots m$

想要得到其等价的SDP，关键在于对其约束函数的转变，即由SOCP的约束函数得到一个矩阵半定约束。

$minimize \, \, f^Tx \\ subject \,\, to \,\,\begin{bmatrix} (c_i^Tx+d_i)I & A_ix+b_i\\ ( A_ix+b_i)^T& (c_i^Tx+d_i) \end{bmatrix}\succeq 0$

显然矩阵正定有两个约束：（1） $(c_i^Tx+d_i)I\geq 0$ （2）Schur补 $(c_i^Tx+d_i)I-\frac{(A_ix+b_i)^T(A_ix+b_i)}{(c_i^Tx+d_i)}\geq 0$ ，整理得到 $(c_i^Tx+d_i)I(c_i^Tx+d_i)-(A_ix+b_i)^T(A_ix+b_i)\geq 0$ 由这两个约束可推出SOCP的约束。

所以SOCP可以写成SDP的形式。但反过来不可以。

向量优化

Suppose $\tilde{x}$ minimizes f(x)+g(x). Then $\tilde{x}$ is Pareto optimal for the bi-criterion optimization problem $\begin{array}{ll} \mbox{minimize} & (f(x),g(x)). \end{array}$

Homework

Consider the optimization problem $\begin{array}{ll} \mbox{minimize} & f_0(x_1,x_2) \\ \mbox{subject to} & 2x_1+x_2 \geq 1 \\ & x_1 +3x_2 \geq 1 \\ & x_1 \geq 0, \quad x_2\geq 0. \end{array}$ For each of the following objective functions, select a solution of the problem.

Use CVX to verify the optimal values in the two cases given in the exercise above titled "A simple problem".

In a Boolean linear program, the variable x is constrained to have components equal to zero or one:

$\begin{array}{ll} \mbox{minimize} & c^T x \\ \mbox{subject to} & Ax \preceq b \\ & x_i \in \{0,1 \}, \quad i=1,\ldots,n. \end{array}$

In general, such problems are very difficult to solve, even though the feasible set is finite (containing at most $2^n$ points).

In a general method called relaxation, the constraint that $x_i$ be zero or one is replaced with the linear inequalities $0\leq x_i \leq 1$

$\begin{array}{ll} \mbox{minimize} & c^T x \\ \mbox{subject to} & Ax \preceq b\\ & 0 \leq x_i \leq 1, \quad i=1,\ldots,n. \end{array}$

We refer to this problem as the LP relaxation of the Boolean LP. The LP relaxation is far easier to solve than the original Boolean LP.

What can you say about the optimal value of the LP relaxation?

松弛问题的可行集包含原问题的可行集，所以松弛问题不可行原问题也一定不可行，所以松弛问题的最优解是原问题最优解的下界。

What can you say about the Boolean LP if the LP relaxation is infeasible?

It sometimes happens that the LP relaxation has a solution with $x_i \in \{ 0,1\}$ . What can you say in this case?

凸优化第四章凸优化问题作业题

标准形式凸优化问题

凸优化问题

拟凸优化

线性优化

二次优化

几何规划

广义不等式约束

半定规划

向量优化

Homework

猜你喜欢

凸优化第四章凸优化问题 作业题

标准形式凸优化问题

凸优化问题

拟凸优化

线性优化

二次优化

几何规划

广义不等式约束

半定规划

向量优化

Homework

猜你喜欢

凸优化第四章凸优化问题作业题