【优化方法学习笔记】第一章：线性规划

1. 基本概念

1.1 凸集与极点

若集合$C$满足：$\forall \mathbf{x},\mathbf{y}\in C,\lambda \in [0,1]$, 都有$\lambda \mathbf{x}+(1-\lambda )\mathbf{y}\in C$, 则称集合$C$为凸集。直观来讲, 如果集合$C$中任意两点的连线也在集合$C$中, 那么集合$C$就是凸集, 图1.1展示了凸集和非凸集的一个例子。

图1.1 凸集（左）和非凸集（右）

设$C$是一个凸集, $\mathbf{x}\in C$, 若$\forall \mathbf{y},\mathbf{z}\in C,\lambda \in (0,1),\mathbf{y}\ne \mathbf{z}$, 都有$\lambda \mathbf{y}+(1-\lambda )\mathbf{z}\ne \mathbf{x}$, 则称$\mathbf{x}$为$C$的一个极点或顶点。直观来讲，若$\mathbf{x}$为$C$的极点, 那么$\mathbf{x}$不能由$C$中任何两个不同的点线性组合得到。

1.2 可行解、基本解、基本可行解

可行解：满足约束条件的解称为可行解；
基本解：令非基变量为$0$, 得到的解称为基本解；
基本可行解：可行的基本解称为基本可行解。

2. 线性规划的标准形式

任何线性规划问题都有标准形式, 线性规划的标准形式可以写为$$\begin{array}{cc}\min & z=c_1{x}_1+c_2{x}_2+\cdots +c_n{x}_n\\ s.t.& a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ & a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ & ⋮\\ & a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n=b_m\\ & x_j\ge 0,j=1,2,\cdots ,n\end{array}$$把非标准形式的线性规划问题改写为标准形式的步骤如下：

1. 如果目标为极大化, 则对目标函数取负使其变为极小化, 即$\max f(\mathbf{x})\iff \min -f(\mathbf{x})$；
2. 如果约束的右端项为负数, 则对这条约束左右两边同时取负, 使右端项变为非负数；
3. 如果决策变量$x_j$没有非负要求, 则令$x_j=x_{j1}-x_{j2}$, 其中$x_{j1},x_{j2}\ge 0$；
4. 如果决策变量$x_j$是非正约束, 即$x_j\le 0$, 则令$x_j^{\prime }=-x_j\ge 0$；
5. 如果存在不等式约束$a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{in}{x}_n\ge b_i$, 则添加变量$y_i\ge 0$, 约束就改写为$a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{in}{x}_n-y_i=b_i$；
6. 如果存在不等式约束$a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{in}{x}_n\le b_i$, 则添加变量$y_i\ge 0$, 约束就改写为$a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{in}{x}_n+y_i=b_i$。

标准的线性规划问题可以写为矩阵形式$$\begin{array}{cc}\min & z={\mathbf{c}}^{\mathrm{T}}\mathbf{x}\\ s.t.& \mathbf{A}\mathbf{x}=\mathbf{b}\\ & \mathbf{x}\ge 0\end{array}$$

3. 单纯形方法

使用单纯形方法求解线性规划问题的一般步骤如下：

1. 把问题转换为标准形式
2. 选取一组基, 列出单纯形表
3. 若检验数全为非负数, 则结束
4. 选择检验数最小的列对应的变量为进基变量
5. 选择$b_i$与系数比值为正数且最小的行对应的变量作为离基变量
6. 把基变量对应的矩阵化为单位矩阵, 回第3步

【例1】求解以下线性规划问题
$$\begin{array}{cc}\max & 4x_1+5x_2+3x_3\\ s.t.& 8x_1+2x_2+5x_3\le 400\\ & 4x_1+6x_2+5x_3\le 320\\ & 7x_1+3x_2+4x_3\le 500\\ & x_i\ge 0,i=1,2,3\end{array}$$
【解】首先把问题转换为标准形式
$$\begin{array}{cc}\min & -4x_1-5x_2-3x_3\\ s.t.& 8x_1+2x_2+5x_3+x_4=400\\ & 4x_1+6x_2+5x_3+x_5=320\\ & 7x_1+3x_2+4x_3+x_6=500\\ & x_i\ge 0,i=1,2,\cdots ,6\end{array}$$
第$1$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$	$b$
检验数	$-4$	$-5$	$-3$	$0$	$0$	$0$	$0$
$x_5$	$8$	$2$	$5$	$1$	$0$	$0$	$400$
$x_6$	$4$	$6$	$5$	$0$	$1$	$0$	$320$
$x_7$	$7$	$3$	$4$	$0$	$0$	$1$	$500$

检验数中, $-5$最小, 所以$x_2$为进基变量。由于 min ⁡ { 400 ÷ 2 , 320 ÷ 6 , 500 ÷ 3 } = 320 ÷ 6 \min \left\lbrace400\div2,320\div6,500\div3 \right \rbrace=320\div6 min{ 400÷2,320÷6,500÷3}=320÷6, 所以$x_6$为离基变量。

第$2$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$	$b$
检验数	$-\frac{2}{3}$	$0$	$\frac{7}{6}$	$0$	$\frac{5}{6}$	$0$	$\frac{800}{3}$
$x_5$	$\frac{20}{3}$	$0$	$\frac{10}{3}$	$1$	$-\frac{1}{3}$	$0$	$\frac{880}{3}$
$x_2$	$\frac{2}{3}$	$1$	$\frac{5}{6}$	$0$	$\frac{1}{6}$	$0$	$\frac{160}{3}$
$x_7$	$5$	$0$	$\frac{3}{2}$	$0$	$-2$	$1$	$340$

只有$x_1$的检验数是负的, 所以$x_1$为进基变量。由于$\min \left\{\frac{880}{3}÷\frac{20}{3},\frac{160}{3}÷\frac{2}{3},340÷5\right\}=\frac{880}{3}÷\frac{20}{3}$, 所以$x_5$为离基变量。

第$3$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$	$b$
检验数	$0$	$0$	$\frac{3}{2}$	$\frac{1}{10}$	$\frac{4}{5}$	$0$	$296$
$x_1$	$1$	$0$	$\frac{1}{2}$	$\frac{3}{20}$	$-\frac{1}{20}$	$0$	$44$
$x_2$	$0$	$1$	$\frac{1}{2}$	$-\frac{1}{10}$	$\frac{1}{5}$	$0$	$24$
$x_7$	$0$	$0$	$-1$	$-\frac{3}{4}$	$-\frac{7}{4}$	$1$	$120$

检验数全为非负数, 迭代结束, 得到标准问题的最优解为$\mathbf{x}=(44,24,0,0,0,0,120{)}^{\mathrm{T}}$, 最优值为$-296$。
于是, 原问题的最优解为$\mathbf{x}=(44,24,0{)}^{\mathrm{T}}$, 最优值为$296$。

4. 两阶段法和大M法

有些时候，我们无法直接得到初始基本可行解，因此需要先设法找到初始基本可行解。

4.1 两阶段法

对于标准形式的线性规划问题，求辅助问题$$\begin{array}{cc}\min & ||\mathbf{y}|{|}_1\\ s.t.& \mathbf{A}\mathbf{x}+\mathbf{y}=\mathbf{b}\\ & \mathbf{x}\ge 0\\ & \mathbf{y}\ge 0\end{array}$$的最优解和最优值。若辅助问题的最优值不是$0$, 则原问题无最优解, 否则, 求得的最优解即为原问题的一个基本可行解。

【例2】求解以下线性规划问题
$$\begin{array}{cc}\min & 2x_1+x_2\\ s.t.& x_1+x_2+x_3=8\\ & x_2-x_3=-3\\ & x_i\ge 0,i=1,2,3\end{array}$$
【解】首先把问题转换为标准形式
$$\begin{array}{cc}\min & 2x_1+x_2\\ s.t.& x_1+x_2+x_3=8\\ & -x_2+x_3=3\\ & x_i\ge 0,i=1,2,3\end{array}$$
一阶段问题
$$\begin{array}{cc}\min & y_1+y_2\\ s.t.& x_1+x_2+x_3+y_1=8\\ & -x_2+x_3+y_2=3\\ & x_i\ge 0,i=1,2,3\\ & y_1,y_2\ge 0\end{array}$$初始的单纯形表为

	$x_1$	$x_2$	$x_3$	$y_1$	$y_2$	$b$
$c$	$0$	$0$	$0$	$1$	$1$	$0$
$y_1$	$1$	$1$	$1$	$1$	$0$	$8$
$y_2$	$0$	$-1$	$1$	$0$	$1$	$3$

第$1$次迭代, 通过初等行变换把第一行变为检验数行, 得到

	$x_1$	$x_2$	$x_3$	$y_1$	$y_2$	$b$
检验数	$-1$	$0$	$-2$	$0$	$0$	$-11$
$y_1$	$1$	$1$	$1$	$1$	$0$	$8$
$y_2$	$0$	$-1$	$1$	$0$	$1$	$3$

检验数中, $-2$最小, 所以$x_3$为进基变量。由于 min ⁡ { 8 ÷ 1 , 3 ÷ 1 } = 3 ÷ 1 \min \left\lbrace8\div1,3\div1\right \rbrace=3\div1 min{ 8÷1,3÷1}=3÷1, 所以$y_2$为离基变量。

第$2$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$y_1$	$y_2$	$b$
检验数	$-1$	$-2$	$0$	$0$	$2$	$-5$
$y_1$	$1$	$2$	$0$	$1$	$-1$	$5$
$x_3$	$0$	$-1$	$1$	$0$	$1$	$3$

检验数中, $-2$最小, 所以$x_2$为进基变量。 只有$y_1$对应的系数是正的, 所以$y_1$为进基变量。

第$3$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$y_1$	$y_2$	$b$
检验数	$0$	$0$	$0$	$1$	$1$	$0$
$x_2$	$\frac{1}{2}$	$1$	$0$	$\frac{1}{2}$	$-\frac{1}{2}$	$\frac{5}{2}$
$x_3$	$\frac{1}{2}$	$0$	$1$	$\frac{1}{2}$	$\frac{1}{2}$	$\frac{11}{2}$

检验数全为非负数, 迭代结束, 得到辅助问题的最优值为$0$, 所以$\mathbf{x}={\left(0,\frac{5}{2},\frac{11}{2}\right)}^{\mathrm{T}}$是标准形式问题的一个基本可行解。

二阶段问题
令$y_1=y_2=0$, 得到

	$x_1$	$x_2$	$x_3$	$b$
$c$	$2$	$1$	$0$	$0$
$x_2$	$\frac{1}{2}$	$1$	$0$	$\frac{5}{2}$
$x_3$	$\frac{1}{2}$	$0$	$1$	$\frac{11}{2}$

通过初等行变换把第一行变为检验数行, 得到

	$x_1$	$x_2$	$x_3$	$b$
检验数	$\frac{3}{2}$	$0$	$0$	$-\frac{5}{2}$
$x_2$	$\frac{1}{2}$	$1$	$0$	$\frac{5}{2}$
$x_3$	$\frac{1}{2}$	$0$	$1$	$\frac{11}{2}$

检验数全为非负数, 迭代结束, 所以标准问题的最优解为$\mathbf{x}={\left(0,\frac{5}{2},\frac{11}{2}\right)}^{\mathrm{T}}$, 最优值为$\frac{5}{2}$, 此即为原问题的最优解与最优值。

4.2 大M法

对于标准形式的线性规划问题, 设$M$是充分大的正数, 求辅助问题
$$\begin{array}{cc}\min & {\mathbf{c}}^{\mathrm{T}}\mathbf{x}+M||\mathbf{y}|{|}_1\\ s.t.& \mathbf{A}\mathbf{x}+\mathbf{y}=\mathbf{b}\\ & \mathbf{x}\ge 0\\ & \mathbf{y}\ge 0\end{array}$$的最优解${\left({\mathbf{x}}^{\ast \mathrm{T}},{\mathbf{y}}^{\ast \mathrm{T}}\right)}^{\mathrm{T}}$。若${\mathbf{y}}^{\ast }=0$, 则${\mathbf{x}}^{\ast }$为原问题的最优解, 否则, 原问题无最优解。

【例3】求解以下线性规划问题
$$\begin{array}{cc}\min & 2x_1+x_2\\ s.t.& x_1+x_2+x_3=8\\ & x_2-x_3=-3\\ & x_i\ge 0,i=1,2,3\end{array}$$
【解】构造辅助问题
$$\begin{array}{cc}\min & 2x_1+x_2+M{y}_1+M{y}_2\\ s.t.& x_1+x_2+x_3+y_1=8\\ & -x_2+x_3+y_2=3\\ & x_i\ge 0,i=1,2,3\end{array}$$
初始的单纯形表为

	$x_1$	$x_2$	$x_3$	$y_1$	$y_2$	$b$
$c$	$2$	$1$	$0$	$M$	$M$	$0$
$y_1$	$1$	$1$	$1$	$1$	$0$	$8$
$y_2$	$0$	$-1$	$1$	$0$	$1$	$3$

第$1$次迭代, 通过初等行变换把第一行变为检验数行, 得到

	$x_1$	$x_2$	$x_3$	$y_1$	$y_2$	$b$
检验数	$2-M$	$1$	$-2M$	$0$	$0$	$-11M$
$y_1$	$1$	$1$	$1$	$1$	$0$	$8$
$y_2$	$0$	$-1$	$1$	$0$	$1$	$3$

检验数中, $-2M$最小, 所以$x_3$为进基变量。由于 min ⁡ { 8 ÷ 1 , 3 ÷ 1 } = 3 ÷ 1 \min \left\lbrace8\div1,3\div1\right \rbrace=3\div1 min{ 8÷1,3÷1}=3÷1, 所以$y_2$为离基变量。

第$2$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$y_1$	$y_2$	$b$
检验数	$2-M$	$1-2M$	$0$	$0$	$2M$	$-5M$
$y_1$	$1$	$2$	$0$	$1$	$-1$	$5$
$x_3$	$0$	$-1$	$1$	$0$	$1$	$3$

检验数中, $1-2M$最小, 所以$x_2$为进基变量。 只有$y_1$对应的系数是正的, 所以$y_1$为进基变量。

第$3$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$y_1$	$y_2$	$b$
检验数	$\frac{3}{2}$	$0$	$0$	$M-\frac{1}{2}$	$M+\frac{1}{2}$	$-\frac{5}{2}$
$x_2$	$\frac{1}{2}$	$1$	$0$	$\frac{1}{2}$	$-\frac{1}{2}$	$\frac{5}{2}$
$x_3$	$\frac{1}{2}$	$0$	$1$	$\frac{1}{2}$	$\frac{1}{2}$	$\frac{11}{2}$

检验数全为非负数, 迭代结束, 得到辅助问题的最优解为${\left(0,\frac{5}{2},\frac{11}{2},0,0\right)}^{\mathrm{T}}$, 所以原问题的最优解为$\mathbf{x}={\left(0,\frac{5}{2},\frac{11}{2}\right)}^{\mathrm{T}}$, 最优值为$\frac{5}{2}$。

5. 线性规划的对偶问题

5.1 对偶问题

任何一个线性规划问题都有与之对应的对偶问题, 且线性规划问题的对偶问题的对偶问题是原问题。

标准形式的线性规划问题
$$\begin{array}{cc}\min & {\mathbf{c}}^{\mathrm{T}}\mathbf{x}\\ s.t.& \mathbf{A}\mathbf{x}=\mathbf{b}\\ & \mathbf{x}\ge 0\end{array}$$的对偶问题为
$$\begin{array}{cc}\max & {\mathbf{b}}^{\mathrm{T}}\mathbf{x}\\ s.t.& {\mathbf{A}}^{\mathrm{T}}\mathbf{x}\le \mathbf{c}\end{array}$$
线性规划问题
$$\begin{array}{cc}\min & {\mathbf{c}}^{\mathrm{T}}\mathbf{x}\\ s.t.& \mathbf{A}\mathbf{x}\ge \mathbf{b}\\ & \mathbf{x}\ge 0\end{array}$$的对偶问题为
$$\begin{array}{cc}\max & {\mathbf{b}}^{\mathrm{T}}\mathbf{x}\\ s.t.& {\mathbf{A}}^{\mathrm{T}}\mathbf{x}\le \mathbf{c}\\ & \mathbf{x}\ge 0\end{array}$$
一般地, 可以按照以下步骤写出任何一个线性规划问题的对偶问题：

1. 把约束中的$\le$通过两边同乘$-1$的方式变为$\ge$
2. 优化目标$\min \leftrightarrow \max$
3. 系数向量与右端向量$\mathbf{b}\leftrightarrow \mathbf{c}$
4. 系数矩阵$\mathbf{A}\leftrightarrow {\mathbf{A}}^{\mathrm{T}}$
5. 若决策变量有非负约束, 则对偶问题中对应的约束为不等式$\le$约束
6. 若决策变量无非负约束, 则对偶问题中对应的约束为等式约束
7. 若原问题为等式约束, 则对偶问题中对应的决策变量无非负约束

【例4】写出以下线性规划问题的对偶问题
$$\begin{array}{cc}\min & -x_1+4x_2\\ s.t.& x_1+3x_2\le 2\\ & -x_1+2x_2\ge 4\\ & x_2\ge 0\end{array}$$
【解】先把原问题等价变换为
$$\begin{array}{cc}\min & -x_1+4x_2\\ s.t.& -x_1-3x_2\ge -2\\ & -x_1+2x_2\ge 4\\ & x_2\ge 0\end{array}$$于是, 对偶问题为
$$\begin{array}{cc}\max & -2x_1+4x_2\\ s.t.& -x_1-x_2=-1\\ & -3x_1+2x_2\le 4\\ & x_1,x_2\ge 0\end{array}$$

5.2 对偶定理

弱对偶定理：设互为对偶的两个线性规划的目标分别是$\min f(\mathbf{x})$和$\max g(\mathbf{y})$, 且$\mathbf{x}$和$\mathbf{y}$分别是它们的可行解, 则有$f(\mathbf{x})\ge g(\mathbf{y})$。
强对偶定理：互为对偶问题的两个线性规划问题, 若其中一个问题存在最优值, 则另一个问题也存在最优值, 且两个问题的最优值相等。

5.3 对偶单纯形方法

对偶单纯形方法与单纯形方法计算步骤类似, 不同之处在于：

1. 结束条件变为右端向量全部非负；
2. 右端向量最小的基变量为离基变量；
3. 检验数与对应系数的相反数的商为正数且最小的变量为进基变量。

【例5】用对偶单纯形方法求解以下线性规划问题
$$\begin{array}{cc}\min & 20x_1+16x_2+25x_3\\ s.t.& 20x_1+60x_2+30x_3\ge 1\\ & 200x_1+100x_2+175x_3\ge 2\\ & 250x_1+250x_2+200x_3\ge 3\\ & x_i\ge 0,i=1,2,3\end{array}$$
【解】首先把问题转换为标准形式
$$\begin{array}{cc}\min & 20x_1+16x_2+25x_3\\ s.t.& 20x_1+60x_2+30x_3-x_4=1\\ & 200x_1+100x_2+175x_3-x_5=2\\ & 250x_1+250x_2+200x_3-x_6=3\\ & x_i\ge 0,i=1,2,\cdots ,6\end{array}$$
第$1$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$	$b$
检验数	$20$	$16$	$25$	$0$	$0$	$0$	$0$
$x_4$	$-20$	$-60$	$-30$	$1$	$0$	$0$	$-1$
$x_5$	$-200$	$-100$	$-175$	$0$	$1$	$0$	$-2$
$x_6$	$-250$	$-250$	$-200$	$0$	$0$	$1$	$-3$

右端向量中, $-3$最小, 所以$x_6$为离基变量。由于 min ⁡ { 20 ÷ 250 , 16 ÷ 250 , 25 ÷ 200 } = 16 ÷ 250 \min \left\lbrace20\div250,16\div250,25\div200 \right \rbrace=16\div250 min{ 20÷250,16÷250,25÷200}=16÷250, 所以$x_2$为进基变量。

第$2$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$	$b$
检验数	$4$	$0$	$\frac{61}{5}$	$0$	$0$	$\frac{8}{125}$	$-\frac{24}{125}$
$x_4$	$40$	$0$	$18$	$1$	$0$	$-\frac{6}{25}$	$-\frac{7}{25}$
$x_5$	$-100$	$0$	$-95$	$0$	$1$	$-\frac{2}{5}$	$-\frac{4}{5}$
$x_2$	$1$	$1$	$\frac{4}{5}$	$0$	$0$	$-\frac{1}{250}$	$\frac{3}{250}$

右端向量中, $-\frac{4}{5}$最小, 所以$x_5$为离基变量。由于$\min \left\{4÷100,\frac{61}{5}÷95,\frac{8}{125}÷\frac{2}{5}\right\}=4÷100$, 所以$x_1$为进基变量。

第$3$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$	$b$
检验数	$0$	$0$	$\frac{42}{5}$	$0$	$\frac{1}{25}$	$\frac{6}{125}$	$-\frac{28}{125}$
$x_4$	$0$	$0$	$-20$	$1$	$\frac{2}{5}$	$-\frac{2}{5}$	$-\frac{3}{5}$
$x_1$	$1$	$0$	$\frac{19}{20}$	$0$	$-\frac{1}{100}$	$\frac{1}{250}$	$\frac{1}{125}$
$x_2$	$0$	$1$	$-\frac{3}{20}$	$0$	$\frac{1}{100}$	$-\frac{1}{125}$	$\frac{1}{250}$

右端向量中, $-\frac{3}{5}$最小, 所以$x_4$为离基变量。由于$\min \left\{\frac{42}{5}÷20,\frac{6}{125}÷\frac{2}{5}\right\}=\frac{6}{125}÷\frac{2}{5}$, 所以$x_6$为进基变量。

第$4$次迭代, 单纯形表为

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$	$b$
检验数	$0$	$0$	$6$	$\frac{3}{25}$	$\frac{11}{125}$	$0$	$-\frac{37}{125}$
$x_6$	$0$	$0$	$50$	$-\frac{5}{2}$	$-1$	$1$	$\frac{3}{2}$
$x_1$	$1$	$0$	$\frac{3}{4}$	$\frac{1}{100}$	$-\frac{3}{500}$	$0$	$\frac{1}{500}$
$x_2$	$0$	$1$	$\frac{1}{4}$	$-\frac{1}{50}$	$\frac{1}{500}$	$0$	$\frac{2}{125}$

右端向量全为非负数, 迭代结束。标准问题的最优解为$\mathbf{x}={\left(\frac{1}{500},\frac{2}{125},0,0,0,\frac{3}{2}\right)}^{\mathrm{T}}$, 最优值为$\frac{37}{125}$。
所以原问题的最优解为$\mathbf{x}={\left(\frac{1}{500},\frac{2}{125},0\right)}^{\mathrm{T}}$, 最优值为$\frac{37}{125}$。