线性规划——对偶问题、强弱对偶定理、KKT条件

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/itnerd/article/details/83351995

原问题

$\min_x \;c^Tx\\s.t. \;\;\;\;\;\;\;\;\;\\Ax=b\\x\geq 0$

对偶问题

$\max_y\;b^Ty\\s.t.\;\;\;\;\;\;\;\;\;\\ A^Ty+s=c\\s\geq 0$
$A \in \R^{m\times n}, x \in \R^{n}, s \in \R^{n}, y \in \R^{m}$

---

对偶间隙

$0 \leq x^Ts\\=x^T(c-A^Ty)\\=x^Tc-(Ax)^Ty\\=c^Tx-b^Ty$意味着原问题的最优值 $\geq$ 对偶问题的最优值，这就是弱对偶定理。

---

强对偶

强对偶意味着对偶间隙等于0，即 $s^Tz=0$，又因为 $s > 0, x>0$，所以 $x_is_i=0, \;\;\;\;\;i=1,2,...,n$这说明若 $x_i >0 \Rightarrow s_i =0 \;\;\;且\;\;\; x_i >0 \Rightarrow s_i =0$，因而称之为 互补性松弛。

---

KKT条件

$Ax=b \tag{1}$ $A^Ty+s=c\tag{2}$ $x_is_i=0 \;(i=1,2,...,n)\tag{3}$
(1)(2)分别是原问题和对偶问题的可行性条件，(3)即互补松弛条件。上面一共 2n+m 个方程，正好对应 x,y,s 这 2n+m 个变量。

---

对偶问题的推导

参见博文《线性规划——对偶问题的推导
》