1.SVM概念(SVM有三宝,间隔对偶核技巧)
SVM:(support machine learning),也称最大间隔分类器,实现分类的手段是在特征空间中找到一个超平面。超平面可以用wTX+b表示,构建一个SVM模型最终就是要求出最佳的参数w*和b*。具体推导见2。
超平面:实现高维空间中样本的线性可分。
间隔:样本到超平面的距离(此处距离有多种距离概念:几何间隔,函数间隔)
对偶:原问题转化为优化问题1,优化问题转化为其对偶问题,也就是优化问题2,为了求解方便所以将原问题转化为对偶问题。
核技巧:核函数(kernel function)有两个功能,一个是将样本的特征空间通过特征转换映射到高维空间以便实现线性可分;另一个功能是能够直接计算出高维数据的内积,避免庞大的计算量。(不同核函数的具体应用:待完成)
SMO算法:SVM的常用求解算法(link)
2.SVM公式推导
3.SVM步骤
1)
2)
3)
4.SVM代码