【最优化】最新北航研究生最优化期末考试知识点概括

前有学长精心的总结，在其基础上增加了部分内容，供大家参考！

---

知识点总结

• 半定规划是一个非光滑 凸优化 问题
• 凸规划的 KKT 点是全局极小点
  • 定理：凸规划的任意 KKT 点是全局极小点
• 目标函数 Hessian 阵半正定时，且约束为凸时为凸规划
• 将这些（通常是非光滑的）问题重新表述成光滑的优化问题常用技巧：

$$\underset{x\in {\mathbb{R}}^n}{\min }f(x)⟷\begin{array}{rl}\underset{x\in {\mathbb{R}}^n,t\in \mathbb{R}}{\min }& t\\ \mathrm{s}.\mathrm{t}.& f(x)\le t\end{array}$$

例 (a) $f(x)=\Vert r(x){\Vert }_{\infty }$ 可重述为
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n,t\in \mathbb{R}}{\min }& t\\ \mathrm{s}.\mathrm{t}.& -t\le r_i(x)\le t,i=1,2,\cdots ,m\end{array}$$
(b) f ( x ) = max ⁡ { r i ( x ) , i = 1 , 2 , ⋯   , m } f(x) = \max\{r_i(x),i=1,2,\cdots,m\} f(x)=max{ ri​(x),i=1,2,⋯,m} 可重述为
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n,t\in \mathbb{R}}{\min }& t\\ \mathrm{s}.\mathrm{t}.& r_i(x)\le t,i=1,2\cdots ,m\end{array}$$
© $f(x)=\Vert r(x){\Vert }_1$ 可重述为
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n,t\in {\mathbb{R}}^m}{\min }& \sum _{i=1}^m{t}_i\\ \mathrm{s}.\mathrm{t}.& -t_i\le r_i(x)\le t_i,i=1,2,\cdots ,m\end{array}$$

• 线性规划是凸规划，其KKT点是全局最优点

• 求解二次规划的积极集法中，初始迭代 不是任意的 ，要是满足约束的可行点

• 二次（courant）罚函数中， 不能固定罚函数，当罚参数趋于 $+\infty$ 时由罚函数所得的原问题的近似解才是可行的。

• 增广 Lagrange 函数中， 固定 Lagrange 乘子为与问题为与问题最优解对应的 Lagrange 乘子， 且二阶充分条件成立 ，则对充分大的罚参数，求增广Lagrange函数的极小点可得原问题的解。

• $l_1$ 罚函数是精确罚函数

  • 特点：不需要 $\sigma \to \infty$，避免了无约束优化问题的病态性；但是是非光滑的，带来数值计算上的困难

• 凸规划，且满足 Slater 约束规范，则强对偶性成立

  • $\mathrm{S}\mathrm{l}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{C}\mathrm{Q}+凸规划\Rightarrow 强对偶定理$

• 二次规划不一定是凸规划，需要 Hessian 矩阵半正定

对数障碍函数

$$\varphi (x,\mu )=f(x)-\mu \sum _i\log (-c_i(x))$$

倒数障碍函数

$$\varphi (x,\mu )=f(x)-\mu \sum _i[c_i(x){]}^{-1}$$

二次罚函数

$$\begin{array}{rl}\varphi (x,\sigma )=& f(x)+\frac{1}{2}\sigma \sum _i(c_i(x){)}^2\\ =& f(x)+\frac{1}{2}\sigma c(x{)}^{T}c(x)\end{array}$$

• Lagrange 乘子估计为

$${\lambda }_i^{(k)}={\sigma }_k{c}^{(k)}$$

乘子罚函数

$$\varphi (x,\lambda ,\sigma )=f(x)+{\lambda }^{T}c(x)+\frac{1}{2}\sigma c(x{)}^{T}c(x)$$

• Lagrange 乘子估计为

$${\lambda }^{(k+1)}={\lambda }^{(k)}+\sigma c_i^{(k)}$$

基本SQP法

SQP 法中的二次规划子问题：

$$\begin{array}{rl}\underset{s\in {\mathbb{R}}^n}{\min }& \frac{1}{2}{s}^T{W}^{(k)}s+{g^{(k)}}^{T}s+f^{(k)}\\ \mathrm{s}.\mathrm{t}.& {a_i^{(k)}}^{T}s+c_i^{(k)}=0,i\in \mathcal{E}\\ & {a_i^{(k)}}^{T}s+c_i^{(k)}\le 0,i\in \mathcal{I}\end{array}$$
其中：

• $W^{(k)}={\nabla }^{2}f(x^{(k)})+{\sum }_i{\lambda }_i^{(k)}{\nabla }^2{c}_i(x^{(k)})$
• $s=x-x^{(k)}$ 是新定义的一个向量
• $c_i$ 是把 $x$ 带入约束得到的值
• $a_i$ 是在 $x$ 点处的约束的梯度

解出 $s$ 后，$x=s+x^{(k)}$

SQP 法失败，可能是由初值选取不当造成的

判定一个点是不是KKT点

在 $x^{\star }$ 满足
$$-g=\sum _{i=1}^n{\lambda }_i{a}_i$$
解出乘子 $\lambda$ 非负，为 KKT 点

一阶条件

一阶必要条件

KKT 条件
$$\begin{array}{rl}{\nabla }_x\mathcal{L}(x^{\ast },{\lambda }^{\ast })& =0\\ c_i(x^{\ast })& =0,i\in \mathcal{E}\\ c_i(x^{\ast })& \le 0,i\in \mathcal{I}\\ {\lambda }_i^{\ast }& \ge 0,i\in \mathcal{I}\\ {\lambda }_i^{\ast }{c}_i(x^{\ast })& =0,i\in \mathcal{I}\end{array}$$

约束规范条件

LCQ、LICQ条件

若满足 LCQ 或 LICQ 条件，则极小点必是 KKT 点

• LCQ：在该点的等式约束和积极约束都是线性约束
• LICQ：该点处的等式约束和积极约束的梯度线性无关（非零）

任意约束的 Lagrange 乘子的相反数均反映约束函数发生变化时所引起的最优值的变化率

---

二阶条件

二阶充分条件

• 计算积极约束的梯度 $a_i,i\in \mathcal{A}$
• 计算 Lagrange 函数的 Hessian 矩阵 $W$
• 根据 $p^T{a}_i$ 的条件求出 $p\in F^{\star }$
• 计算 $p^{T}Wp$，若大于 0，则该点是局部解，否则不是

二阶充分条件：$x^{\star }$ 处KKT条件成立且
$$p^{T}Wp>0$$
则 $x^{\star }$ 是问题的严格局部极小点

二阶必要条件

• $x^{\star }$ 是局部极小点
• 正则性假设成立
• 则存在乘子 ${\lambda }^{\star }$ 使得 KKT 条件成立

则
$$p^{T}Wp\ge 0$$

对偶函数求法

若对偶函数有解析形式，步骤如下：

1. 先写出 Lagrange 函数 $\mathcal{L}(x,\lambda )$
2. 求出使 Lagrange 函数取极小值时的 $x$
3. 把 $x$ 代回源 Lagrange 函数得到以 $\lambda$ 为变量的函数 $\phi (\lambda )={\min }_{x\in {\mathbb{R}}^n}\mathcal{L}(x,\lambda )$，即为对偶函数
4. 原问题为求最小值，对偶问题即为求最大值，对偶问题取最优值时的 $\lambda$ 为对应原问题取最优值时的 Lagrange 乘子

例 考虑问题
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }& f(x)=c^{T}x\\ \mathrm{s}.\mathrm{t}.& Ax\ge b\\ & x\ge 0\end{array}$$
分别基于集合约束 x ∈ X = { x ∈ R n ∣ x ≥ 0 } x\in X=\{x\in\mathbb{R}^n | x\geq 0\} x∈X={ x∈Rn∣x≥0} 和 $x\in X={\mathbb{R}}^n$ 写出该问题的对偶问题。

解 (a) Lagrange 函数为
$$\begin{array}{rl}\mathcal{L}(x,\lambda )& =c^{T}x+{\lambda }^T(b-Ax)\\ & =(c^T-{\lambda }^{T}A)x+{\lambda }^{T}b\end{array}$$
记对偶函数为
$$\phi (\lambda )=\underset{x\ge 0}{\min }\mathcal{L}(x,\lambda )$$
因此，需要 $c^T-{\lambda }^{T}A\ge 0$，则对偶函数为 $\phi (\lambda )=b^T\lambda$。

对偶问题
$$\begin{array}{rl}\underset{x\ge 0}{\max }& b^T\lambda \\ \mathrm{s}.\mathrm{t}.& {\lambda }^{T}A\le c^T\\ & \lambda \ge 0\end{array}$$
(b) Lagrange 函数为
$$\begin{array}{rl}\mathcal{L}(x,\lambda )& =c^{T}x+{\lambda }^T(b-Ax)+\mu (-x)\\ & =(c^T-{\lambda }^{T}A-{\mu }^T)x+{\lambda }^{T}b\end{array}$$
记对偶函数为
$$\phi (\lambda )=\underset{x\in {\mathbb{R}}^n}{\min }\mathcal{L}(x,\lambda )$$
因此，需要 $c^T-{\lambda }^{T}A-{\mu }^T=0$，则对偶函数为 $\phi (\lambda )=b^T\lambda$。

对偶问题
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\max }& b^T\lambda \\ \mathrm{s}.\mathrm{t}.& {\lambda }^{T}A+{\mu }^T=c^T\\ & \lambda \ge 0,\mu \ge 0\end{array}$$
注记：由此题体会写对偶问题的灵活性，即通常仅把难处理的约束松弛到目标函数中形成 Lagrange 函数，这样对偶问题的变量要少一些. 但是求对偶函数时可能要稍微复杂些。显然，两个问题的是等价的。

积极集法

对问题
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }q(x)& =\frac{1}{2}{x}^{T}Gx+d^{T}x\\ \text{s.t.}{a}_i^{T}x& =b_i,i\in \mathcal{A}\end{array}$$
考虑第 $k$ 次迭代，$x^{(k)}$ 是可行点，${\mathcal{A}}^{(k)}$ 是积极集。

令 $s=x-x^{(k)}$，$g^{(k)}=\nabla q(x^{(k)})=G{x}^{(k)}+d$，则得优化问题
$$\begin{array}{rl}\underset{s\in {\mathbb{R}}^n}{\min }q(x)& =\frac{1}{2}{s}^{T}Gs+{g^{(k)}}^{T}s\\ \text{s.t.}{a}_i^{T}s& =0,i\in \mathcal{A}\end{array}$$

1. 解该问题得 $s^{(k)}$，乘子为 ${\lambda }^{(k)}$
2. 若 ${\lambda }^{(k)}$ 有负， 删除最负的分量对应的约束
3. 在新的约束的条件下，求取得目标函数最小值 $s^{(k)}$，作为搜索方向 $p$。
4. 步长 ${\alpha }_k=\min \left(1,{\min }_{i\notin {\mathcal{A}}^{(k)},a_i^T{p}^{(k)}<0}\frac{b_i-a_i^T{x}^{(k)}}{a_i^T{p}^{(k)}}\right)$ ，新的点为 $x^{(k+1)}=x^{(k)}+{\alpha }_k{p}^{(k)}$
5. 迭代直到 Lagrange 乘子没有负

有效集法介绍（Active Set Method）

半定规划

形如：

$$\begin{array}{cl}\min & C\cdot X\\ \text{ s.t. }& A_i\cdot X=b_1\\ & X\ge 0\end{array}$$
对偶：

$$\begin{array}{rl}\max & \sum _{i=1}^m{y}_i{b}_i\\ \text{ s.t.}& \sum _{i=1}^m{y}_i{A}_i+S=\mathbf{C}\\ & S\ge 0\end{array}$$
举例：
$$\begin{array}{rl}\text{ max }& 11y_1+19y_2\\ \text{s.t. }& y_1\left[\begin{array}{ccc}1& 0& 1\\ 0& 3& 7\\ 1& 7& 5\end{array}\right]+y_2\left[\begin{array}{ccc}0& 2& 8\\ 2& 6& 0\\ 8& 0& 4\end{array}\right]+S=\left[\begin{array}{ccc}1& 2& 3\\ 2& 9& 0\\ 3& 0& 7\end{array}\right]\\ & S\ge 0\end{array}$$

参考资料

[1] 有效集法介绍（Active Set Method）

[2] 北航研究生课程最优化方法期末知识点总结

[3] 刘红英，夏勇，周永生. 数学规划基础，北京，北京航空航天大学出版社，2012.