Lagrange函数，对偶问题，KKT条件

1. 原始问题

约束最优化问题的原始问题：

约束最优化问题转化为无约束最优化问题：

广义拉格朗日函数（generalized Lagrange function）:

是是拉格朗日乘子
特别要求：

原始问题的描述等价为：

这个地方如下理解：

原始问题最优化：

最优值：

2. 对偶问题

对偶问题：

对偶问题一定是凹的。

对偶问题最优化（极大值）：

原始问题最优化（极小值）：

对偶问题的最优值：

原始问题最优值：

3. 原始问题与对偶问题的关系

定理：若原始问题与对偶问题都有最优值，则

分别是原始问题和对偶问题的最优解的充分必要条件是：

满足KKT条件：

关于KKT 条件的理解：前面三个条件是由解析函数的知识，对于各个变量的偏导数为0（这就解释了一开始为什么假设三个函数连续可微，如果不连续可微的话，这里的偏导数存不存在就不能保证），后面四个条件就是原始问题的约束条件以及拉格朗日乘子需要满足的约束。

由KKT对偶互补条件可知：a>0时,c =0`, SVM会用到.