【数学】拉格朗日对偶

拉格朗日对偶

引言

上一篇，我们说到了拉格朗日乘子法和 KKT条件。这篇中，我们将继续学习拉格朗日对偶。此篇参考：这个链接。
如果目标函数和约束条件都是变量为 $x$ 的线性函数，该问题被称为线性规划；如果目标函数是二次函数，而约束条件是线性函数，该问题被称为二次规划；目标函数和约束函数均为非线性函数，称为非线性规划。每个线性规划问题都有一个与之对应的对偶问题。对偶问题有以下几种很好的性质：
    1. 对偶问题的对偶问题是原始问题。
    2. 无论原始问题是否是凸的，对偶问题都是凸优化问题。
    3. 对偶问题可以给出原始问题的一个下界。
    4. 当满足一定条件时，原始问题和对偶问题完全等效。

原始问题

假设 $f(x), h_i(x), g_j(x)$ 是定义在 $R^n$ 上的连续可微函数，给出不等式约束优化问题：
$\min_{x\in R^n}f(x)\\ s.t.\ \ \ \ h_i(x) = 0,\ i=1,2,3,\dots,m\\ \ \ \ \ \ \ \ \ g_j(x)\leq0,\ j=1,2,3,\dots ,k$
如果约束条件满足KKT条件时，可以使用拉格朗日函数求解：
$\mathscr{L}(x, \alpha, \beta)=f(x)+\sum_{i=1}^m\alpha_ih_i(x) + \sum_{j=1}^k\beta_jg_j(x)$
我们先给出一个重要结论：
$f(x)=\max_{\alpha,\beta;\beta_i\geq0}\mathscr{L}(x, \alpha, \beta)$
在上面这条式子中，我们把 $x$ 看做常量，只改变 $\alpha$ 和 $\beta$ 来最大化 $\mathscr{L}(x, \alpha, \beta)$。

我们可以定义以下两个方法：

1. $x$ 不满足约束条件。如果 $h_i(x)\;$≠ $\;0$ 时，令 $\alpha_i\to+\infty$，此时 $\alpha_ih_i(x) \to+\infty$。如果 $g_j(x) > 0$，令 $\beta_j\to+\infty$，此时 $\beta_jg_j(x)\to+\infty$。这种情况下，只要不满足任一条件，都会使 $\mathscr{L}(x, \alpha, \beta) \to+\infty$，造成问题无解。
2. $x$ 满足约束条件。 $x$ 满足约束条件需要 $x$ 同时满足 $h_i(x) = 0$ 且 $g_j(x) \leq 0$。显然，如果 $h_i(x)=0$，不管 $\alpha_i$ 取值如何，都无法改变 $\alpha_ih_i(x)=0$。接下来有影响的就剩下 $\beta_jg_j(x)$ 这一项了。对于这一项， $g_j(x)\leq0$，并且使得 $\beta_j\geq0$，就会有 $\beta_jg(x)\leq0$，而在结论的式子中，我们选择改变 $\beta_j$ 来使 $\mathscr{L}(x, \alpha, \beta)$ 最大，所以这里的 $\beta_j$ 会更倾向于取 $0$，因此 $\beta_jg_j(x)=0$。在这种情况下， $\alpha_ih_i(x)=0$ 且 $\beta_jg_j(x)=0$，因此只剩下了 $f(x)$ 一项。

综上所述，我们得到了这么一个结论：
$\theta_p(x)=\begin{cases}\\ f(x),\quad \text{$x\;$满足约束要求}\\ +\infty, \quad \text{其他}\\ \end{cases}$
$\theta_p(x)=f(x)=\max_{\alpha,\beta;\beta_i\geq0}\mathscr{L}(x, \alpha, \beta) \geq \mathscr{L}(x, \alpha, \beta)$
因此可得
$\min_x\theta_p(x)=\min_x\max_{\alpha,\beta;\beta_i\geq0}\mathscr{L}(x, \alpha, \beta)$

对偶问题

我们将原始命题的最优解定义为 $p^*$，现在为对偶问题定义一个对偶函数：
$\theta_D(\alpha, \beta)=\min_{x}\mathscr{L}(x, \alpha, \beta)$
于是对偶问题如下：
$\max_{\alpha,\beta;\beta_i\geq0}\theta_D(\alpha, \beta)=\max_{\alpha,\beta;\beta_i\geq0}\min_x\mathscr{L}(x, \alpha, \beta)$
对偶问题和原始问题的区别就在于互换了 $max$ 和 $min$ 的位置。
然后我们定义最优问题的解为 $d^*$.
在引言中说到对偶问题可以给出原始问题的一个下界，而当满足一定条件时，原始问题和对偶问题完全等效。
即
$d^*\leq p^*$

$D(\alpha, \beta)=\min_{x}\mathscr{L}(x, \alpha, \beta) \leq \mathscr{L}(x, \alpha, \beta) \leq \max_{\alpha,\beta;\beta_i\geq0}\mathscr{L}(x, \alpha, \beta) = f(x)$
即 $D(\alpha, \beta) \leq f(x)$，显然
$d^*=\max_{\alpha,\beta;\beta_i\geq0}D(\alpha, \beta)\leq \min_xf(x)=p^*$

因此我们可以用对偶的性质，为原始问题引入一个下界 $d^*$，即使原始问题非凸，这种性质叫做弱对偶性。无论原始问题是什么形式，对偶问题总是一个凸优化问题，因此对于难以解决的原始问题，我们都可以将它转化为对偶问题，通过优化对偶问题来得到原始问题的一个下界。
当完全满足 $d^*=p^*$ 时，称为强对偶性。在强对偶成立时，可以通过求解对偶问题来得到原始问题的解。若满足 Slater 条件 和 KKT 条件

Slater 条件：

假设函数 $f(x)$ 和 $g_j(x)$ 是凸函数， $h_i(x)$ 是仿射函数；并且假设不等式约束 $g_j(x)$ 是严格可行的，即存在 $x$ 对所有 $j$ 有 $g_j(x) < 0$，则存在 $x^*$， $\alpha^*$， $\beta^*$，使 $x^*$ 是原始问题的解 $\alpha^*$， $\beta^*$ 是对偶问题的解，并且
$p^*=d^*=\mathscr{L}(x^*, \alpha^*, \beta^*)$

KKT条件：

假设函数 $f(x)$ 和 $g_j(x)$ 是凸函数， $h_i(x)$ 是仿射函数；并且假设不等式约束 $g_j(x)$ 是严格可行的，即存在 $x$ 对所有 $j$ 有 $g_j(x) < 0$，则 $x^*$ 和 $\alpha^*$， $\beta^*$ 分别是原始问题和对偶问题的解的充分必要条件是 $x^*$， $\alpha^*$， $\beta^*$ 满足以下 KKT 条件
$\nabla_x\mathscr{L}(x^*, \alpha^*, \beta^*) = 0\\ \beta_j^*g_j(x^*)=0,\; i= 1,2,3,\cdots,k\\ g_j(x^*) \leq0,\; i= 1,2,3,\cdots,k \\ \beta_j^*\geq0,\; i= 1,2,3,\cdots,m\\ h_i(x^*)=0,\; i= 1,2,3,\cdots,m$

扫描二维码关注公众号，回复： 9824137 查看本文章

在 SVM 中，原始问题就是一个凸优化问题，Slater条件在 SVM 中表示线性可分，当数据不可分时，强对偶是不成立的，但是只需要加一个 kernel 就可以了。