最优化问题
拉格朗日乘子法
如图,左边的等值线即为f(x)–待优化函数,h(x)是我们的约束条件,因此最优解必然在f(x)和h(x)相交的情况下,所以取极值点一定是两函数相切的位置,在两者相切的时候梯度应该是共线的,对在极值点状态的函数做积分即可得到拉格朗日函数。k=1:l,有k 个约束条件,对其求和。拉格朗日函数对x求偏导后为0的情况即为最优解。自此,我们把有约束问题转化为无约束问题。
KKT算法
如果包含等式和不等式两种约束,也可以转换成无约束的优化问题。将不等式条件加入拉格朗日函数中KKT条件决定,KKT乘子大于0,而
满足最优解条件,g(x)<=0是本身的约束条件。f(x),g(x)是凸函数, 因为在SVM中构建的函数就是一个凸函数。
对偶问题
广义的拉格朗日函数,包含等式约束和不等式约束。先最大化再最小化的过程和最小化f(x)是等价的。求出一个w使拉格朗日函数最小,然后找到α和В使得拉格朗日函数去最大值,这个过程就是对偶优化问题。一般情况下min(max)>max(min),θ是谁的函数就是针对对方的优化,。证明min(max)>max(min)过程: