5.2Lagrange对偶问题

Larange对偶问题
弱对偶性
强对偶性和slater约束准则
例子

Lagrange对偶问题

对于任意的一组 $(\lambda,v)$ ，对偶函数给出了优化问题的最优值 $p^*$ 的一个下界。从Lagrange函数能够得到的最好下界是什么？

将此问题转化为优化问题：

$maximize \, \, g(\lambda,v) \\ subject \, \, to \, \, \lambda\succeq 0$

上述问题为原问题的Lagrange对偶问题，且是一个凸优化问题，因为 $g(\lambda,v)$ 是凹函数。如果 $(\lambda^*,v^*)$ 是Lagrange对偶问题的最优解，则称 $(\lambda^*,v^*)$ 是对偶最优解或最优Lagrange乘子。

标准形式线性规划的对偶问题

$minimize \, \, c^Tx \\ subject \,\, to \, \,Ax=b,x\succeq 0$

Lagrange对偶函数是 $L(x,\lambda ,v)=c^Tx+\lambda^T (-x)+v^T(Ax-b)=c^Tx-\lambda^Tx+v^TAx-v^Tb$

为了最小化L， $\bigtriangledown _xL(x,\lambda ,v)=c+A^Tv-\lambda$

因为L是仿射函数，所以

$g(\lambda,v)=\left\{\begin{matrix} -b^Tv &A^Tv-\lambda+c=0 \\ -\infty & A^Tv-\lambda+c\neq 0 \end{matrix}\right.$

如果 $A^Tv+c>0,p^*\geq -b^Tv$ 。

于是其对偶问题为

$minimize \, \, -b^Tx \\ subject \,\, to \, \,A^Tv+c\succeq 0$

弱对偶性

记对偶问题的最优值为 $d^*$ ，根据定义 $d^*$ 是原问题的最优解的最好下界。有： $d^*\leq p^*$ ，即使原问题不是凸问题，该不等式也成立，这个性质成为弱对偶性。如果原问题无下界，即 $p^*=-\infty$ ，为保证弱对偶性成立， $d^*=-\infty$ ，即对偶问题不可行。反过来，若对偶问题无上界，即 $d^*=\infty$ ，为保证弱对偶性成立， $p^*=\infty$ ，即原问题不可行。定义差值 $p^*-d^*$ 是原问题的最优对偶间隙。

强对偶性和Slater准则

强对偶性

如果等式 $d^*=p^*$ 成立，即最优对偶间隙为0，则强对偶性成立。

一般情况下强对偶性不成立，如果原问题是凸问题，则强对偶性经常成立。

$minimize \, \, f_0(x) \\ subject \,\, to \, \,\begin{matrix} f_i(x)\leq 0 & i=1,2\cdots m\\ Ax=b & \end{matrix}$

强对偶性成立的约束准则:Slater条件

存在一点 $x\in \boldsymbol{relint}D$ （ $\boldsymbol{relint}D$ 表示集合D的相对内点），使得下式成立：

$f_i(x)< 0,i=1,\cdots m,Ax=b$

满足上式成立的点成为严格可行。当Slater成立且原问题为凸问题时，强对偶性成立。

当不等式约束函数 $f_i$ 中有一些是仿射函数时，假设前k个不等式约束函数是仿射函数时，Slater条件进一步改进：

存在一点 $x\in \boldsymbol{relint}D$ （ $\boldsymbol{relint}D$ 表示集合D的相对内点），使得下式成立：

$f_i(x)\leq 0,i=1,\cdots k,f_i(x)< 0,i=k+1,\cdots p, Ax=b$ ，换言之仿射不等式不需要严格成立。

例子

不等式形式的LP

$minimize \, \, c^Tx \\ subject \,\, to \, \,Ax\preceq b$

其Lagrange对偶函数：

$g(\lambda)=\underset{x\in D}{inf}(c^Tx+\lambda^T(Ax-b))=\left\{\begin{matrix} -\lambda^Tb &A^T\lambda+c=0 \\ -\infty & A^T\lambda+c\neq 0 \end{matrix}\right.$

对偶问题：

$minimize \, \, -\lambda^Tx \\ subject \,\, to \, \,A^T\lambda+c=0,\lambda\geq 0$

强对偶性成立的Slater条件： $Ax\prec b$ ， $x \in \boldsymbol{relint }D$

QP

$minimize \, \, x^TPx \\ subject \,\, to \, \,Ax\preceq b$

$P\in S_{++}^n$ 其Lagrange对偶函数：

$g(\lambda)=\underset{x\in D}{inf}L(x,\lambda)=\underset{x\in D}{inf}(x^TPx+\lambda^T(Ax-b))$

$\bigtriangledown _xL(x,\lambda)=2Px+A^T\lambda$

令其为0，解得 $x=-1/2P^{-1}A^T\lambda$

代入得到：

$g(\lambda)=(-1/2P^{-1}A^T\lambda)^TP(-1/2P^{-1}A^T\lambda)+\lambda^T(A(-1/2P^{-1}A^T\lambda)-b))\\ =1/4\lambda^TAP^{-1}PP^{-1}A^T\lambda-1/2 \lambda ^TAP^{-1}A^T\lambda-\lambda^Tb\\ =-1/4\lambda^TAP^{-1}A^T\lambda-\lambda^Tb$

其对偶问题：

$minimize \,\,-1/4\lambda^TAP^{-1}A^T\lambda-\lambda^Tb \\ subject \,\, to \, \, \lambda\succeq 0$

强对偶性成立的Slater条件： $Ax\prec b$ ， $x \in \boldsymbol{relint }D$

非凸问题的强对偶性

$minimize \, \, x^TAx +2b^Tx\\ subject \,\, to \, \,x^Tx\leq 1$

且 $A\ngeqslant 0,A\in S^n$ ，所以问题是非凸的。

其对偶函数：

$g(\lambda)=\underset{x\in D}{inf}L(x,\lambda)=\underset{x\in D}{inf}(x^T(A+\lambda I)x+2b^Tx-\lambda)$

如果 $A+\lambda I\ngeqslant 0$ ， $g(\lambda)$ 无下界。如果 $A+\lambda I\succeq 0$ ，

$\bigtriangledown _xL(x,\lambda)=2(A+\lambda I)x+2b$

如果 $b \notin R(A+\lambda I)$ ， $g(\lambda)$ 无下界。

如果 $b \in R(A+\lambda I)$ ，则令其为0，解得 $x=-(A+\lambda I)^+b$

代入得到：

$g(\lambda)=(-(A+\lambda I)^+b)^T(A+\lambda I)(-(A+\lambda I)^+b)+2b^T(-(A+\lambda I)^+b)-\lambda \\ =b^T((A+\lambda I)^+)^T(A+\lambda I)(A+\lambda I)^+b-2b^T(A+\lambda I)^+b-\lambda\\ =-b^T(A+\lambda I)^+b-\lambda$

其对偶问题：

$maximize \,\,-b^T(A+\lambda I)^+b-\lambda \\ subject \,\, to \, \, A +\lambda I\succeq 0,b\in R(A+\lambda I)$

其等价的SDP

$maximize \,\,-t-\lambda \\ subject \,\, to \, \, \begin{bmatrix} A+\lambda I & b\\ b^T & t \end{bmatrix}\succeq 0$

凸优化第五章对偶 5.2Lagrange对偶问题