KKT approach和generalized Lagrangian function

KKT（Karush-Kuhn-Tucker） approach提供一种一般方法来实现带约束的优化。使用KKT approach我们引入generalized Lagrabgian function（广义拉格朗日函数）。
广义拉格朗日函数定义为：
。
其中和被称为KKT multipliers（KKT乘子），定义集合S来表示和，记为：。被称为equality constraints（等式约束），被称为inequality constraints（不等于约束）。
我们可以使用广义拉格朗日函数来解决原来的优化问题。
例如求最小化问题，只要原函数有可行点并且不为无穷大，则的优化解和的优化解相同。
上述式子成立的原因是只要满足约束条件则：；
而若不满足约束条件，则：。
为求最大值，可以将式子改成：，也可改为：。
带约束的优化问题最优点的特性叫做KKT conditions（KKT条件），KKT条件为：
（1）广义拉格朗日函数的梯度为0。
（2）x上的所有约束和KKT乘子是满足条件的。
（3）不等式约束存在互补松弛性：。