二次规划_3_——直接消去法&广义消去法

  教材里面没有对直接消去法&广义消去法进行任何介绍，所有的内容都在老师的PPT里面，又起了个名字叫降维。公式太多了，老师又说的确要考，所以打算只把大致思路理清楚，真考到了列出处理思想就跑。

一、直接消去法

  考虑具有等式线性约束的二次规划： $min \ \ \ \frac{1}{2}x^T Hx+c^Tx \\ s.t. \ \ \ Ax=b$  和线性规划种类似，先将A矩阵进行分块： $A=[A_B|A_N]$  同时对 $x$、 $Q$、 $d$也进行相应分块： $x=\begin{bmatrix} X_B \\ X_N \end{bmatrix},Q=\begin{bmatrix} Q_{BB} & Q_{BN} \\ Q_{NB} & Q_{NN} \end{bmatrix},d=\begin{bmatrix} d_B \\ d_N \end{bmatrix}$  根据分块可以将等式约束重写为以下形式。这一步其实是在用非基变量替换基变量： $A_Bx_B+A_Nx_N=b \\ \Rightarrow x_B=A_B^{-1}(b-A_Nx_N)$  将此式代入原二次规划目标函数即可得到： $min \ \ \ \frac{1}{2}x_N^{T} \widehat Qx_N+\widehat{d}^T+\widehat c$  其中三个参数都可以使用原式各分量相互结合表示：（根本没办法记）
  通过这三个基本表示式，若 $\widehat Q$正定，可以计算出 $x^*$和 $\lambda^*$。若 $\widehat Q$半正定，求广义逆 $\widehat Q^+$，表示 $x^*$和 $\lambda^*$。若 $\widehat Q$存在负特征值时，问题无解。

二、广义消去法

  广义消去法由来：直接消去法很直观，使用非基变量表示基变量，但是由于需要计算 $A_B$的逆，当 $A_B$接近奇异时会导致误差很大，所以将直接消去法进行推广，得到广义消去法。
  子空间构建：将全空间划分为关于 $A$的两个互补子空间： $Y_{n*m}$和 $Z_{n*(n-m)}$。 $[Y\ \ Z]$是正交矩阵。满足 $AY$非奇异， $AZ=0$。
  将变量 $x$用子空间 $[Y\ \ Z]$表示： $x=Y\overline{x}+Z\widehat x$  将其带入二次规划约束式中，利用 $A$的子空间定义可以得到： $AY\overline{x}=b$  此式代入上式得到： $x=Y(AY)^{-1}b+Z\widehat x$  至此已经将求解 $x$的问题转换为求解 $\widehat x$，达到了降维的目的。求解就算了…