线性规划求解——增广拉格朗日函数法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/itnerd/article/details/86183469

原问题

$\min_x \;c^Tx\\s.t. \;Ax=b\\x\geq 0 \tag{P}$

对偶问题

$\max_y\;b^Ty\\s.t.\;A^Ty+s=c\\s\geq 0\tag{D}$
$A \in \R^{m\times n}, x \in \R^{n}, s \in \R^{n}, y \in \R^{m}$

---

对偶问题的增广拉格朗日函数：
$L_t(y,s,\lambda) = -b^Ty + \lambda^T(A^Ty+s-c) + \frac{t}{2}||A^Ty+s-c||_2^2,\\ = -b^Ty + \frac{t}{2} \big(||A^Ty+s-c + \frac{\lambda}{t}||_2^2 - ||\frac{\lambda}{t}||_2^2 \big), \\ s.t.\quad s \geq 0$
迭代步骤为：

• $(y^+,s^+) = \mathop{argmin}_{s\geq0,y}\quad L_t(y,s,\lambda) \\ = \mathop{argmin}_{s\geq0,y}\quad -b^Ty + \frac{t}{2} \big(||A^Ty+s-c + \frac{\lambda}{t}||_2^2 \big) \tag{1}$
• $\lambda^+ = \lambda -t(c-A^Ty^+-s^+)$
  注意到子问题 (1) 中，若求得 $y$ 的最优点 $y^+$，则 $s^+$ 必须满足：
  $s^+ =\quad \mathop{argmin}_{s\geq0}\quad ||A^Ty^++s-c + \frac{\lambda}{t}||_2^2 \\=\quad \mathbb{P}_{\mathbf{R}_+^n}(c-A^Ty^+-\frac{\lambda}{t})$
  其中， $\mathbb{P}_{\mathbf{R}_+^n}(\cdot)$ 表示向 $\mathbb{R}^n$ 空间中第一象限的投影。将上式代入 (1) 中可以将变量 $s$ 消去，得到简化的迭代形式：
• $y^+ =\quad \mathop{argmin}_{s\geq0,y}\quad -b^Ty + \frac{t}{2} \sum_{i=1}^n \Psi_i(y,\lambda,t) \tag{2}$
• $\lambda^+ =\quad \mathbb{P}_{\mathbf{R}_+^n}(\lambda -t(c-A^Ty))$
  其中
  $\psi_i(y,\lambda,t)=\left\{ \begin{array}{lr} (A_i^Ty-c_i + \frac{\lambda_i}{t})^2, & c_i - A_i^Ty - \lambda_i/t <0 \\ 0, & otherwise \end{array} \right.$
  对子问题 (2}) 的求解可以采用梯度法，半光滑牛顿法等等。