凸优化基础知识

一. 凸函数相关定义

1. 首先定义凸集，如果x,y属于某个集合C,并且所有的也属于c,那么c为一个凸集

2. 进一步，如果一个函数其定义域是凸集，并且

　　　　　　　　　　

则该函数为凸函数。上述条件还能推出更一般的结果，

　　　　　　　　　　

3. 如果函数有二阶导数，那么如果函数二阶导数为正，或者对于多元函数，Hessian矩阵半正定则为凸函数。

 

二. 性质

1. 凸函数局部最优也是全局最优（证明）

 

三. 对偶问题

1. 解释对偶的概念。

一个优化问题可以从两个角度进行考察，一个是primal 问题，一个是dual 问题，就是对偶问题，一般情况下对偶问题给出主问题最优值的下界，在强对偶性成立的情况下由对偶问题可以得到主问题的最优下界，对偶问题是凸优化问题，可以进行较好的求解，SVM中就是将primal问题转换为dual问题进行求解，从而进一步引入核函数的思想。