4.4 约束优化

这篇博客不是对照花书写的，但是对你看花书这一节是有用的

minmax不等式-宁做凤尾不做鸡头

在看到白板推导的up主看着下式说鸡头凤尾的时候，觉得真是太有趣了，很形象有没有
$\max _{y} \min _{x} f(x, y) \leq \min _{x} \max _{y} f(x, y)$

花书里面有出现类似的式子，当时没有看懂，看到白板推导SVM的视频的时候再次遇到了约束优化和对偶问题，又查了一些资料才搞懂。以下内容参考minmax不等式和对偶问题 - 知乎 (zhihu.com)

有的时候你可能想不明白一个问题到底是怎么回事，但是当你用纯数学的方式推导得到答案的时候，你就知道它是对的，比如上面的式子，乍一看，不知道为什么，但是请看下方的式子
$\min _{x} f(x, y_0) \leq f(x_0,y_0) \leq \max _{y} f(x_0, y)$
有顿悟的感觉吗

知乎的博主还对这个式子做了一些阐述，但对我而言，这一串式子比任何阐述都要来的直观。看到这个式子的时候，我已经知道接下来的步骤了，拿掉中间的过渡，有
$\min _{x} f(x, y_0) \leq \max _{y} f(x_0, y)$
然后因为 $x_0,y_0$ 是任意的，因此必须让不等式左边的最大值小于等于右边的最小值，上式才能恒成立，从而得证。

优化问题

问题定义

$\begin{array}{rl} \min _{x} & f(x) \\ \text { subject to } & h_{i}(x) \leq 0 \quad i=1,2, \cdots, m \\ & l_{j}(x)=0 \quad j=1,2, \cdots, n \end{array}$

广义拉格朗日函数

$L(\boldsymbol{x}, \boldsymbol{\lambda}, \boldsymbol{\eta})=f(\boldsymbol{x})+\sum_{i} \lambda_{i} g^{(i)}(\boldsymbol{x})+\sum_{j} \eta_{j} h^{(j)}(\boldsymbol{x})$
然后我们我们有下面这个式子，先看它是如何成立的，然后再说为什么要做这个转化。
$\min _{x} \max _{\lambda \geq 0, \eta} L(\boldsymbol{x}, \boldsymbol{\lambda}, \boldsymbol{\eta})=\min _{x} f(\boldsymbol x)$
乍一看这是什么玩意儿？

直到在博客里面看到下面这个式子
$\max _{\lambda \geq 0, \eta} L(\boldsymbol{x}, \boldsymbol{\lambda}, \boldsymbol{\eta})=\left\{\begin{array}{ll} f(x) & ,\ x \text { 满足约束 } \\ +\infty & ,\ x \text { 不满足约束 } \end{array}\right.$
我感觉我又行了，嘿嘿，看下面
$\min _{x} \max _{\lambda \geq 0, \eta} L(\boldsymbol{x}, \boldsymbol{\lambda}, \boldsymbol{\eta})=\min _{x}(f(x),+\infin) = \min _{x}f(x)$
那么，我们为什么要这么转化呢，我们就需要引入对偶的概念了

对偶问题

对于强对偶问题（先别管强对偶是什么），我们可以得到
$\max _{\lambda \ge0,\eta} \min _{x} L(\boldsymbol{x}, \boldsymbol{\lambda}, \boldsymbol{\eta}) = \min _{x} \max _{\lambda \geq 0, \eta} L(\boldsymbol{x}, \boldsymbol{\lambda}, \boldsymbol{\eta})$
我们希望通过将原问题转化为对偶问题，然后对对偶问题求解以获得原问题的解。我们之所以做这个转化是因为原问题有的时候不好求解，但具体为什么，你问我我问谁去。哈哈，待我学成归来再告诉你。。。补充：我学成归来了，看到一个解释是说，转换成对偶问题可能是为了引入核技巧(为了引入核技巧而引入对偶，wc牛逼呀)，因为对偶问题进行计算时，有关于两个点内积的计算： $x_i^Tx_j$ ，这可以方便的用核函数替代 $\kappa(x_i,x_j)$ ，便于处理非线性可分的情况