【最优化笔记2】线性规划--理论准备部分(线性规划基本定理等）

线性规划（LP）就是由目标函数为决策变量的线性函数和约束条件为线性等式或线性不等式所组成的数学规划。

1.线性规划的标准形式

这里直接给出线性规划的矩阵标准形式，这是接下来讨论的基础。
$\begin{cases}min c^Tx \\ s.t. Ax=b,& \text{$x\geq0 $ } \end{cases} \tag{1}$
其中
$x=(x_1,x_2,...,x_n)^T$，为决策变量
$A=(a_{ij})_{m \times n}, rank(A)=m \leq n$，为约束方程系数。
$c=(c_1,c_2,...,c_n)^T$，为目标函数系数。
$b=(b_1,b_2,...,b_m) 并且b_i\geq0,i=1,2,...,m$，为约束条件右端常数。
通过
1.引入松弛变量和剩余变量，将线性不等式化约束为等式约束约束。
2.设 $x_p$为自由变量，即 $x_p \in R$，令 $x_p=u_1-u_2,u_1,u_2 \geq 0$，或者通过约束等式将 $x_p$替换掉将自由变量处理为符号条件( $\geq0$)的变量即可。
将线性规划非标准型化为标准型将是求解的第一步。

2.求解前的理论准备

为了进行下一步的求解，我们这里首先介绍几个重要的概念和定律。

2.1 基本可行解

(1)定义

从A的n列中选出m列，使它们相信无关，不妨设A的前m列线性无关，即 $a_j=(a_{1j},a_{2j},...,a_{nj}),j=1,2,...m$是线性无关的。令

显然B是满秩的，因此方程组
$Bx=b$
有唯一的解 $x_B=B^{-1}b,$令 $x=(x_B^T,0^T)$,x即前m个分量等于 $x_B,$后n-m个分量赋为0，则得到约束方程组的一个解。
称B为基\基底，称这样得到的解矢量 $x$为约束方程组关于基底B的基本解。而与B相对应的 $x$的分量 $x_i$成为基本变量。当基本解中有一个或一个以上的基本变量 $x_i$为0时，则称这个解为退化的基本解。当一个可行解 $x$又是基本解时（满足约束条件同时分量 $x_i$都是非负值)，则称它是基本可行解。若它是退化的，则称它是退化的基本可行解。

(2)性质

显然，一个m阶n维的线性规划问题，其基本可行解个数不超过 $C_n^m$，这保证了线性规划的基本可行解个数是有限的。

2.2 线性规划基本定理

(1)先行理论

1.闭半空间：称 $H^+=${ $x|x\in R^n,c^Tx\geq b$}为正闭半空间， $H^-=${ $x|x\in R^n,c^Tx\leq b$}为负闭半空间， $H^+$和 $H^-$统称为闭半空间。
易证闭半空间为凸集。
2.多面凸集 $S$：有限个闭半空间的交集称为多面凸集，亦即集合 $S$={ $x| Ax\leq b$},(其中 $A=(a_{ij})_{m \times n}$)。
由凸集的性质（有限个凸集的交集仍为凸集）知S为凸集。

下面的内容很重要

3.凸集S的顶点（极点）： $x\in S,$若找不到 $x_1,x_2\in S(x_1\not=x_2),$使得 $x=ax_1+(1-a)x_2(0<a<1)$成立，则称 $x$为凸集的顶点（极点）。

4.定理1：设 $A=(a_{ij})_{m \times n}，$其秩为m， 且 $m<n，x=(x_1,x_2,...,x_n)^T,b=(b_1,b_2,...,b_m)^T，$则矢量 $x$为凸集
$R=\lbrace x|Ax=b，x\geq0\rbrace \tag2$
的极点的一个充要条件是 $x$为
$Ax=b，x\geq0$
的一个基本可行解。
该定理给出了可行解集极点与基本可行解的联系，是线性规划基本定理的重要基础，数学系很可能考该定理的证明。

(2)线性规划基本定理

对于给定的线性规划问题：
$\begin{cases}min w=c^Tx \\ s.t. Ax=b,& \text{$x\geq0 $ } \end{cases}\tag{1}$
$A=(a_{ij})_{m \times n}, rank(A)=m < n$
1.若线性规划问题(1)有可行解，则必有基本可行解。
2.若线性规划问题(1)有最优可行解，则必有最优的基本可行解。

上面的定理给出一个寻找线性规划问题最优解的策略：寻找线性规划问题(1)的最优解时，只需要研究基本可行解就行了。
即，若线性规划问题(1)有最优解，则一定在凸集（可行解） $R=\lbrace x|Ax=b，x\geq0\rbrace$的顶点上达到。又因为基本可行解的个数是有限的，则R至多有限个顶点。若存在最优可行解，比较这有限个顶（极）点即可找到最优的基本可行解，这就从理论上保证了我们有可能在有限步内求得线性规划问题的最优解。

下面的对定理的证明也是求解线性规划问题方法（单纯形法）的基本过程：


下节将具体介绍求解方法（单纯形法）。
第2节，完