【优化方法学习笔记】第三章：约束最优化方法

1. 约束最优化问题

1.1 约束最优化问题的一般形式

约束最优化问题的一般形式为$$\begin{array}{ccc}\min & f(\mathbf{x})& \\ s.t.& h_i(\mathbf{x})=0& i=1,2,\cdots ,l\\ & h_j(\mathbf{x})\le 0& j=l+1,l+2,\cdots ,m\end{array}$$称$f(\mathbf{x})$为目标函数, $h_i(\mathbf{x})=0$为等式约束, $h_j(\mathbf{x})\le 0$为不等式约束。
称集合 Ω = { x ∣ h i ( x ) = 0 , h j ( x ) ≤ 0 , i = 1 , 2 , ⋯   , l , j = l + 1 , l + 2 , ⋯   , m } \varOmega = \left \lbrace \boldsymbol{x} | h_i(\boldsymbol{x}) = 0, h_j(\boldsymbol{x}) \le 0, i = 1, 2, \cdots, l, j = l+1, l+2, \cdots, m \right \rbrace Ω={ x∣hi​(x)=0,hj​(x)≤0,i=1,2,⋯,l,j=l+1,l+2,⋯,m}为可行域。

1.2 可行方向与可行下降方向

设$\mathbf{d}$为非零向量, $\mathbf{x}\in \Omega$, 若$\exists k>0$, 使得$\forall \alpha \in (0,k)$, 都有$\mathbf{x}+\alpha \mathbf{d}\in \Omega$, 则称向量$\mathbf{d}$为点$\mathbf{x}$处的可行方向, 若还满足$f(\mathbf{x}+\alpha \mathbf{d})<f(\mathbf{x})$, 则称$\mathbf{d}$为点$\mathbf{x}$处的可行下降方向（或称改进的可行方向）。

1.3 起作用指标集

对于点$\mathbf{x}\in \Omega$, 称集合 A ( x ) = { i ∣ h i ( x ) = 0 } A(\boldsymbol{x}) = \left \lbrace i | h_i(\boldsymbol{x}) = 0 \right \rbrace A(x)={ i∣hi​(x)=0}为点$\mathbf{x}$的起作用指标集, 直观来讲, 起作用指标集就是所有等式约束的下标和所有不等式约束中取等号的下标构成的集合。

2. KKT条件

设一般形式的约束最优化问题在点$\mathbf{x}$处满足：向量组$\nabla h_i(\mathbf{x})$, $i\in A(\mathbf{x})$线性无关, 问题在点$\mathbf{x}$处的拉格朗日函数为$$L(\mathbf{x},\mathbf{\lambda })=f(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{h}_i(\mathbf{x})$$则问题在点$\mathbf{x}$处的KKT条件为$$\{\begin{array}{l}{\nabla }_{\mathbf{x}}L(\mathbf{x},\mathbf{\lambda })=0\\ h_i(\mathbf{x})=0,i=1,2,\cdots ,l\\ h_j(\mathbf{x})\le 0,j=l+1,l+2,\cdots ,m\\ {\lambda }_j{h}_j(\mathbf{x})=0,j=l+1,l+2,\cdots ,m\\ {\lambda }_j\ge 0,j=l+1,l+2,\cdots ,m\end{array}$$若点$\mathbf{x}$满足KKT条件, 则称$\mathbf{x}$为KKT点, 相应的$(\mathbf{x},\mathbf{\lambda })$称为KKT对。

【例1】求下列问题的所有KKT点$$\begin{array}{cc}\min & x_1{x}_2\\ s.t.& x_1^2+x_2^2=1\end{array}$$【解】构造拉格朗日函数$$L(x_1,x_2,\lambda )=x_1{x}_2+\lambda x_1^2+\lambda x_2^2-\lambda$$KKT条件为$$\{\begin{array}{l}{x}_2+\lambda x_1=0\\ x_1+\lambda x_2=0\\ x_1^2+x_2^2=1\end{array}$$解得$$x_1=x_2=\pm \frac{\sqrt{2}}{2},\lambda =-\frac{1}{2}$$或$$x_1=-x_2=\pm \frac{\sqrt{2}}{2},\lambda =\frac{1}{2}$$所以KKT点为${\left(\frac{\sqrt{2}}{2},\frac{\sqrt{2}}{2}\right)}^{\mathrm{T}}$, ${\left(-\frac{\sqrt{2}}{2},\frac{\sqrt{2}}{2}\right)}^{\mathrm{T}}$, ${\left(\frac{\sqrt{2}}{2},-\frac{\sqrt{2}}{2}\right)}^{\mathrm{T}}$, ${\left(-\frac{\sqrt{2}}{2},-\frac{\sqrt{2}}{2}\right)}^{\mathrm{T}}$。

【例2】判断点${\mathbf{x}}_0=(1,3{)}^{\mathrm{T}}$是否为下列问题的KKT点$$\begin{array}{cc}\min & 4x_1-3x_2\\ s.t.& x_1+x_2\le 4\\ & x_2+7\ge 0\\ & (x_1-3{)}^2\le 1+x_2\end{array}$$【解】点${\mathbf{x}}_0$处的起作用指标集为 A ( x 0 ) = { 1 , 3 } A(\boldsymbol{x}_0) = \lbrace 1, 3 \rbrace A(x0​)={ 1,3}, 所以${\lambda }_2=0$, 构造拉格朗日函数$$L(x_1,x_2,{\lambda }_1,{\lambda }_3)=4x_1-3x_2+{\lambda }_1(x_1+x_2-4)+{\lambda }_3\left[(x_1-3{)}^2-x_2-1\right]$$KKT条件可化为$$\{\begin{array}{l}4+{\lambda }_1+2{\lambda }_3{x}_1-6{\lambda }_3=0\\ -3+{\lambda }_1-{\lambda }_3=0\\ {\lambda }_1\ge 0,{\lambda }_3\ge 0\end{array}$$将$x_1=1$和$x_2=3$代入上面的方程, 得到$$\{\begin{array}{l}{\lambda }_1-4{\lambda }_3=-4\\ {\lambda }_1-{\lambda }_3=3\\ {\lambda }_1\ge 0,{\lambda }_3\ge 0\end{array}$$上面的方程有解：${\lambda }_1=\frac{16}{3}\ge 0$, ${\lambda }_3=\frac{7}{3}\ge 0$, 所以${\mathbf{x}}_0$是KKT点。

3. 二次规划

3.1 二次规划的一般形式

称目标函数为二次函数, 约束为线性约束的约束最优化问题为二次规划, 二次规划的一般形式为$$\begin{array}{ccc}\min & \frac{1}{2}{\mathbf{x}}^{\mathrm{T}}\mathbf{G}\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}\mathbf{x}& \\ s.t.& {\mathbf{a}}_i^{\mathrm{T}}\mathbf{x}=b_i& i=1,2,\cdots ,l\\ & {\mathbf{a}}_j^{\mathrm{T}}\mathbf{x}\le b_j& j=l+1,l+2,\cdots ,m\end{array}$$

3.2 等式约束二次规划

若二次规划问题不含不等式约束, 则问题退化为$$\begin{array}{cc}\min & \frac{1}{2}{\mathbf{x}}^{\mathrm{T}}\mathbf{G}\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}\mathbf{x}\\ s.t.& \mathbf{A}\mathbf{x}=\mathbf{b}\end{array}$$若矩阵$\mathbf{G}$半正定, 且$\mathbf{A}$的所有行线性无关, 则问题的KKT点与问题的最优解等价。只需求解线性方程组$$\left[\begin{array}{cc}\mathbf{G}& {\mathbf{A}}^{\mathrm{T}}\\ \mathbf{A}& \mathbf{O}\end{array}\right]\left[\begin{array}{c}\mathbf{x}\\ \mathbf{\lambda }\end{array}\right]=\left[\begin{array}{c}-\mathbf{c}\\ \mathbf{b}\end{array}\right]$$即可得到问题的最优解。

【例3】求解二次规划问题$$\begin{array}{cc}\min & x_1^2+x_2^2+x_3^2-x_1{x}_2-x_2{x}_3+2x_1-x_2\\ s.t.& 3x_1-x_2-x_3=0\\ & 2x_1-x_2-x_3=0\end{array}$$【解】把问题化为矩阵形式$$\begin{array}{cc}\min & \frac{1}{2}[x_1,x_2,x_3]\left[\begin{array}{ccc}2& -1& 0\\ -1& 2& -1\\ 0& -1& 2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]+[2,-1,0]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]\\ & \\ s.t.& \left[\begin{array}{ccc}3& -1& -1\\ 2& -1& -1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]\end{array}$$其中矩阵$\left[\begin{array}{ccc}2& -1& 0\\ -1& 2& -1\\ 0& -1& 2\end{array}\right]$正定, 解线性方程组$$\left[\begin{array}{ccccc}2& -1& 0& 3& 2\\ -1& 2& -1& -1& -1\\ 0& -1& 2& -1& -1\\ 3& -1& -1& 0& 0\\ 2& -1& -1& 0& 0\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ {\lambda }_1\\ {\lambda }_2\end{array}\right]=\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\\ 0\end{array}\right]$$得$[x_1,x_2,x_3,{\lambda }_1,{\lambda }_2]=\left[0,\frac{1}{6},\frac{1}{6},-\frac{5}{6},\frac{1}{3}\right]$, 所以最优解为$[x_1,x_2,x_3]=\left[0,\frac{1}{6},\frac{1}{6}\right]$, 最优值为$-\frac{5}{36}$。

3.3 起作用指标集方法

对于一般形式的二次规划问题, 若$\mathbf{G}$为正定矩阵, 则以下算法可以得到问题的最优解：

1. 给出问题的初始可行点$\mathbf{x}$
2. 初始化下标集合$I\leftarrow A(\mathbf{x})$
3. $\mathbf{while}\mathrm{True}\mathbf{do}$
4. \qquad 求解下面仅含等式约束的二次规划问题得到 $\mathbf{d}$ 和 $\mathbf{\lambda }$$$\begin{array}{cc}\underset{\mathbf{d}}{\min }& \frac{1}{2}{\mathbf{d}}^{\mathrm{T}}\mathbf{G}\mathbf{d}+(\mathbf{G}\mathbf{x}+\mathbf{c}{)}^{\mathrm{T}}\mathbf{d}\\ s.t.& {\mathbf{a}}_i^{\mathrm{T}}\mathbf{d}=0,i\in I\end{array}$$ \qquad
5. $\mathbf{if}\mathbf{d}=0\mathbf{do}$
6. $\mathbf{if}\mathbf{\lambda }\ge 0\mathbf{do}$
7. $\mathbf{return}\mathbf{x}$
8. $\mathbf{else}$
9. I ← I ∖ { arg min ⁡ λ i } \qquad \qquad \qquad I \gets I \setminus \left \lbrace \argmin \lambda_i \right \rbrace I←I∖{ argminλi​}
10. $\mathbf{end}$
11. $\mathbf{else}$
12. $\alpha \leftarrow \underset{i\notin I}{\min }\left\{\frac{b_i-{\mathbf{a}}_i^{\mathrm{T}}\mathbf{x}}{{\mathbf{a}}_i^{\mathrm{T}}\mathbf{d}}\mid {\mathbf{a}}_i^{\mathrm{T}}\mathbf{d}>0\right\}$
13. $\mathbf{if}\alpha <1\mathbf{do}$
14. $i\leftarrow \underset{i\notin I}{\mathrm{argmin}}\left\{\frac{b_i-{\mathbf{a}}_i^{\mathrm{T}}\mathbf{x}}{{\mathbf{a}}_i^{\mathrm{T}}\mathbf{d}}\mid {\mathbf{a}}_i^{\mathrm{T}}\mathbf{d}>0\right\}$
15. I ←   I ∪ { i } \qquad \qquad \qquad I \gets \ I \cup \lbrace i \rbrace I← I∪{ i}
16. $\mathbf{else}$
17. $\alpha \leftarrow 1$
18. $\mathbf{end}$
19. $\mathbf{x}\leftarrow \mathbf{x}+\alpha \mathbf{d}$
20. $\mathbf{end}$
21. $\mathbf{end}$

上述算法称为起作用指标集方法。

【例4】求解二次规划问题$$\begin{array}{cc}\min & (x_1-1{)}^2+(x_2-2{)}^2\\ s.t.& x_1+x_2\le 1\\ & x_1,x_2\ge 0\end{array}$$【解】该问题对应的系数为$$\mathbf{G}=\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right],\mathbf{c}=\left[\begin{array}{c}-2\\ -4\end{array}\right],{\mathbf{a}}_1=\left[\begin{array}{c}1\\ 1\end{array}\right],{\mathbf{a}}_2=\left[\begin{array}{c}-1\\ 0\end{array}\right],{\mathbf{a}}_3=\left[\begin{array}{c}0\\ -1\end{array}\right],\mathbf{b}=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$$显然, ${\mathbf{x}}_0=[0,0{]}^{\mathrm{T}}$是可行的, 初始化 I 0 = A ( 0 , 0 ) = { 2 , 3 } I_0 = A(0, 0) = \lbrace 2, 3 \rbrace I0​=A(0,0)={ 2,3}

第$1$次迭代：
解二次规划问题$$\begin{array}{cc}\min & d_1^2+d_2^2-2d_1-4d_2\\ s.t.& -d_1=0\\ & -d_2=0\end{array}$$得$\mathbf{d}=[0,0{]}^{\mathrm{T}}$, $\mathbf{\lambda }=[0,-2,-4{]}^{\mathrm{T}}\le 0$, $\mathrm{argmin}{\lambda }_i=3$, 更新 I 1 = { 2 } I_1 = \lbrace 2 \rbrace I1​={ 2}

第$2$次迭代：
解二次规划问题$$\begin{array}{cc}\min & d_1^2+d_2^2-2d_1-4d_2\\ s.t.& -d_1=0\end{array}$$得$\mathbf{d}=[0,2{]}^{\mathrm{T}}\ne 0$, 则计算 α = min ⁡ i ∈ { 1 , 3 } { b i − a i T x 0 a i T d ∣ a i T d > 0 } = 1 2 < 1 \alpha = \underset{i \in \lbrace 1, 3 \rbrace}{\min} \left \lbrace \dfrac{b_i - \boldsymbol{a}_i^{\rm T} \boldsymbol{x}_0}{\boldsymbol{a}_i^{\rm T} \boldsymbol{d}} \mid \boldsymbol{a}_i^{\rm T} \boldsymbol{d} > 0 \right \rbrace = \dfrac{1}{2} < 1 α=i∈{ 1,3}min​{ aiT​dbi​−aiT​x0​​∣aiT​d>0}=21​<1, $i=1$, 更新 I 2 = { 1 , 2 } I_2 = \lbrace 1, 2 \rbrace I2​={ 1,2}, ${\mathbf{x}}_2=[0,1{]}^{\mathrm{T}}$

第$3$次迭代：
解二次规划问题$$\begin{array}{cc}\min & d_1^2+d_2^2-2d_1-4d_2\\ s.t.& d_1+d_2=0\\ & -d_1=0\end{array}$$得$\mathbf{d}=[0,0{]}^{\mathrm{T}}$, $\mathbf{\lambda }=[2,0,0{]}^{\mathrm{T}}\ge 0$, 迭代结束

所以最优解为$[0,1{]}^{\mathrm{T}}$, 最优值为$1$。

4. 惩罚函数法与障碍函数法

4.1 惩罚函数法

对于一般形式的约束最优化问题, 惩罚函数法通过添加惩罚项的方式将问题转化为无约束最优化问题, 从而可以使用无约束最优化方法求解原问题。对于一般形式的约束最优化问题$$\begin{array}{ccc}\min & f(\mathbf{x})& \\ s.t.& h_i(\mathbf{x})=0& i=1,2,\cdots ,l\\ & h_j(\mathbf{x})\le 0& j=l+1,l+2,\cdots ,m\end{array}$$惩罚函数法的求解步骤是：

1. 给定${\rho }_1>0$, 精度$\epsilon >0$, 初始点${\mathbf{x}}_0$, 当前迭代次数$k=1$
2. 第$k$次迭代, 求解无约束优化问题 min ⁡ P ( x , ρ k ) = f ( x ) + ρ k [ ∑ i = 1 l h i 2 ( x ) + ∑ j = l + 1 m ( max ⁡ { 0 , h j ( x ) } ) 2 ] \min P(\boldsymbol{x}, \rho_k) = f(\boldsymbol{x}) + \rho_k \left[ \sum_{i=1}^{l}h_i^2(\boldsymbol{x}) + \sum_{j=l+1}^{m} (\max \left \lbrace 0, h_j(\boldsymbol{x}) \right \rbrace)^2 \right] minP(x,ρk​)=f(x)+ρk​ ​i=1∑l​hi2​(x)+j=l+1∑m​(max{ 0,hj​(x)})2 ​得到最优解为${\mathbf{x}}_k$
3. 若惩罚项满足 ρ k [ ∑ i = 1 l h i 2 ( x k ) + ∑ j = l + 1 m ( max ⁡ { 0 , h j ( x k ) } ) 2 ] ≤ ε \rho_k \left[ \sum_{i=1}^{l}h_i^2(\boldsymbol{x}_k) + \sum_{j=l+1}^{m} (\max \left \lbrace 0, h_j(\boldsymbol{x}_k) \right \rbrace)^2 \right] \le \varepsilon ρk​ ​i=1∑l​hi2​(xk​)+j=l+1∑m​(max{ 0,hj​(xk​)})2 ​≤ε则迭代结束, 最优解为${\mathbf{x}}_k$, 否则取${\rho }_{k+1}>{\rho }_k$, 继续迭代

通常来讲, 做题时, 迭代一次后令$\rho \to +\infty$即可得到最优解。

【例5】用惩罚函数法求解$$\begin{array}{cc}\min & x_1^2+x_2^2\\ s.t.& x_1-1\ge 0\\ & x_1+x_2=3\end{array}$$【解】令 P ( x 1 , x 2 , ρ ) = x 1 2 + x 2 2 + ρ ( x 1 + x 2 − 3 ) 2 + ρ ( max ⁡ { 0 , 1 − x 1 ] } ) 2 = { x 1 2 + x 2 2 + ρ ( x 1 + x 2 − 3 ) 2 , x 1 > 1 x 1 2 + x 2 2 + ρ ( x 1 + x 2 − 3 ) 2 + ρ ( 1 − x 1 ) 2 , x 1 ≤ 1 \begin{align} P(x_1, x_2, \rho) & = x_1^2 + x_2^2 + \rho \left( x_1 + x_2 - 3 \right)^2 + \rho \left( \max \lbrace 0, 1 - x_1] \rbrace \right)^2 \nonumber \\ & = \begin{cases} x_1^2 + x_2^2 + \rho \left( x_1 + x_2 - 3 \right)^2, & x_1 > 1 \\ x_1^2 + x_2^2 + \rho \left( x_1 + x_2 - 3 \right)^2 + \rho(1 - x_1)^2, & x_1 \le 1 \end{cases} \nonumber \end{align} P(x1​,x2​,ρ)​=x12​+x22​+ρ(x1​+x2​−3)2+ρ(max{ 0,1−x1​]})2={ x12​+x22​+ρ(x1​+x2​−3)2,x12​+x22​+ρ(x1​+x2​−3)2+ρ(1−x1​)2,​x1​>1x1​≤1​​则$$\frac{\partial P}{\partial x_1}=\{\begin{array}{ll}2x_1+2\rho (x_1+x_2-3),& x_1>1\\ 2x_1+2\rho (x_1+x_2-3)-2\rho (1-x_1),& x_1\le 1\end{array}$$$$\frac{\partial P}{\partial x_2}=2x_2+2\rho (x_1+x_2-3)$$令$$\frac{\partial P}{\partial x_1}=\frac{\partial P}{\partial x_2}=0$$解得$$\mathbf{x}=\{\begin{array}{ll}{\left(\frac{3\rho }{2\rho +1},\frac{3\rho }{2\rho +1}\right)}^{\mathrm{T}},& \rho >1\\ \frac{\rho }{{\rho }^2+3\rho +1}{\left(\rho +4,2\rho +3\right)}^{\mathrm{T}},& 0<\rho \le 1\end{array}$$所以原问题的最优解为$$\underset{\rho \to +\infty }{\lim }\mathbf{x}=\underset{\rho \to +\infty }{\lim }{\left(\frac{3\rho }{2\rho +1},\frac{3\rho }{2\rho +1}\right)}^{\mathrm{T}}={\left(\frac{3}{2},\frac{3}{2}\right)}^{\mathrm{T}}$$最优值为$\frac{9}{2}$。

4.2 障碍函数法

对于仅含不等式约束的约束优化问题$$\begin{array}{ccc}\min & f(\mathbf{x})& \\ s.t.& h_i(\mathbf{x})\le 0& i=1,2,\cdots ,m\end{array}$$障碍函数法通过构造障碍函数$b(\mathbf{x})$将其转化为无约束优化问题, 障碍函数$b(\mathbf{x})$通常有以下两种构造方法：$$b_1(\mathbf{x})=-\sum _{i=1}^m\frac{1}{h_i(\mathbf{x})},b_2(\mathbf{x})=-\sum _{i=1}^m\ln \left[-h_i(\mathbf{x})\right]$$称$b_1(\mathbf{x})$为倒数障碍函数, $b_2(\mathbf{x})$为对数障碍函数。障碍函数法的求解步骤是

1. 给定$r_1>0$, 精度$\epsilon >0$, 初始点${\mathbf{x}}_0$, 当前迭代次数$k=1$
2. 第$k$次迭代, 求解无约束优化问题$$\min B(\mathbf{x},r_k)=f(\mathbf{x})+r_{k}b(\mathbf{x})$$得到最优解为${\mathbf{x}}_k$
3. 若惩罚项满足$$r_{k}b({\mathbf{x}}_k)\le \epsilon$$则迭代结束, 最优解为${\mathbf{x}}_k$, 否则取$r_{k+1}\in (0,r_k)$, 继续迭代

通常来讲, 做题时, 迭代一次后令$r\to 0^{+}$即可得到最优解。

【例6】用障碍函数法求解$$\begin{array}{cc}\min & x_1^2+x_2^2\\ s.t.& x_1-x_2+1\le 0\end{array}$$【解】令$$B(x_1,x_2,r)=x_1^2+x_2^2-r\ln (x_2-x_1-1)$$则$$\frac{\partial B}{\partial x_1}=2x_1+\frac{r}{x_2+x_1-1},\frac{\partial B}{\partial x_2}=2x_2-\frac{r}{x_2+x_1-1}$$令$$\frac{\partial B}{\partial x_1}=\frac{\partial B}{\partial x_2}=0$$解得$$\mathbf{x}={\left(-\frac{1+\sqrt{1+r}}{4},\frac{1+\sqrt{1+r}}{4}\right)}^{\mathrm{T}}$$所以原问题的最优解为$$\underset{r\to 0^{+}}{\lim }\mathbf{x}=\underset{r\to 0}{\lim }{\left(-\frac{1+\sqrt{1+r}}{4},\frac{1+\sqrt{1+r}}{4}\right)}^{\mathrm{T}}={\left(-\frac{1}{2},\frac{1}{2}\right)}^{\mathrm{T}}$$最优值为$\frac{1}{2}$。

4.3 混合罚函数法

混合罚函数法综合使用惩罚函数和障碍函数, 目标函数为$$F(\mathbf{x},r)=f(x)++rb(\mathbf{x})+\frac{p(\mathbf{x})}{r}$$式中, $b(\mathbf{x})$为障碍函数, $p(\mathbf{x})$为惩罚函数。

5. 增广拉格朗日函数法

对于一般形式的约束最优化问题$$\begin{array}{ccc}\min & f(\mathbf{x})& \\ s.t.& h_i(\mathbf{x})=0& i=1,2,\cdots ,l\\ & h_j(\mathbf{x})\le 0& j=l+1,l+2,\cdots ,m\end{array}$$定义其增广拉格朗日函数为 L σ ( x , λ ) = f ( x ) + ∑ i = 1 l λ i h i ( x ) + σ 2 ∑ i = 1 l h i 2 ( x ) + 1 2 σ ∑ j = l + 1 m { [ max ⁡ { 0 , λ j + σ h j ( x ) } ] 2 − λ j 2 } L_\sigma(\boldsymbol{x}, \boldsymbol{\lambda}) = f(\boldsymbol{x}) + \sum_{i=1}^{l}\lambda_i h_i(\boldsymbol{x}) + \dfrac{\sigma}{2}\sum_{i=1}^{l}h_i^2(\boldsymbol{x}) + \dfrac{1}{2\sigma} \sum_{j=l+1}^{m} \left \lbrace \left[ \max \left \lbrace 0, \lambda_j + \sigma h_j(\boldsymbol{x}) \right \rbrace \right]^2 - \lambda_j^2 \right \rbrace Lσ​(x,λ)=f(x)+i=1∑l​λi​hi​(x)+2σ​i=1∑l​hi2​(x)+2σ1​j=l+1∑m​{ [max{ 0,λj​+σhj​(x)}]2−λj2​}第$k$次迭代, 令$${\nabla }_{\mathbf{x}}L(\mathbf{x},\mathbf{\lambda })=0$$解得${\mathbf{x}}_k$, 然后按以下公式修正拉格朗日系数 ( λ k + 1 ) i = { ( λ k ) i + σ h i ( x k ) , 1 ≤ i ≤ l max ⁡ { 0 , ( λ k ) i + σ h i ( x k ) } , l < i ≤ m (\boldsymbol{\lambda}_{k+1})_i = \begin{cases} (\boldsymbol{\lambda}_k)_i + \sigma h_i(\boldsymbol{x}_k), & 1 \le i \le l \\ \max \lbrace 0, (\boldsymbol{\lambda}_k)_i + \sigma h_i(\boldsymbol{x}_k) \rbrace, & l < i \le m \end{cases} (λk+1​)i​={ (λk​)i​+σhi​(xk​),max{ 0,(λk​)i​+σhi​(xk​)},​1≤i≤ll<i≤m​通常来讲, 做题时, 迭代一次, 然后计算${\mathbf{\lambda }}_k$的极限, 将极限值代入即可得到最优解。

【例7】用增广拉格朗日函数法求解$$\begin{array}{cc}\min & 3x_1^2+x_2^2\\ s.t.& x_1+x_2=1\end{array}$$【解】令$$L_{\sigma }(x_1,x_2,\lambda )=3x_1^2+x_2^2+\lambda (x_1+x_2-1)+\frac{\sigma }{2}(x_1+x_2-1{)}^2$$则$${\nabla }_{\mathbf{x}}{L}_{\sigma }(x_1,x_2,\lambda )=[6x_1+\lambda +\sigma (x_1+x_2-1),2x_2+\lambda +\sigma (x_1+x_2-1){]}^{\mathrm{T}}$$令$${\nabla }_{\mathbf{x}}{L}_{\sigma }(x_1,x_2,\lambda )=0$$解得$${\mathbf{x}}_k={\left[\frac{\sigma -{\lambda }_k}{4\sigma +6},\frac{3\sigma -3{\lambda }_k}{4\sigma +6}\right]}^{\mathrm{T}}$$从而$${\lambda }_{k+1}={\lambda }_k+\sigma \left(\frac{\sigma -{\lambda }_k}{4\sigma +6}+\frac{3\sigma -3{\lambda }_k}{4\sigma +6}-1\right)=\frac{3({\lambda }_k-\sigma )}{2\sigma +3}$$当${\lambda }_1>-\frac{3}{2}$时, 由数学归纳法易证${\lambda }_k>-\frac{3}{2}$, 于是$${\lambda }_{k+1}-{\lambda }_k=\frac{3({\lambda }_k-\sigma )}{2\sigma +3}-{\lambda }_k=-\frac{\sigma }{2\sigma +3}(3+2{\lambda }_k)<0$$即数列 { λ k } \lbrace \lambda_k \rbrace { λk​}单调递减且有界, 故${\lambda }_k$的极限存在, 设为$\gamma$, 对${\lambda }_k$的递推式两边同时取极限得$$\gamma =\frac{3(\gamma -\sigma )}{2\sigma +3}$$解得$$\gamma =-\frac{3\sigma }{2\sigma }=-\frac{3}{2}$$所以原问题的最优解为$$\underset{k\to +\infty }{\lim }{\mathbf{x}}_k={\left[\frac{\sigma -\gamma }{4\sigma +6},\frac{3\sigma -3\gamma }{4\sigma +6}\right]}^{\mathrm{T}}={\left[\frac{1}{4},\frac{3}{4}\right]}^{\mathrm{T}}$$最优值为$\frac{3}{4}$。