机器学习面笔试-SVM篇

版权声明:本文为博主siucaan原创文章,转载请注明出处。 https://blog.csdn.net/qq_23869697/article/details/82149061

1.SVM的基本思想:

间隔最大化来得到最优分离超平面。方法是将这个问题形式化为一个凸二次规划问题,还可以等价位一个正则化的合页损失最小化问题。SVM又有硬间隔最大化和软间隔SVM两种。这时首先要考虑的是如何定义间隔,这就引出了函数间隔和几何间隔的概念(这里只说思路),我们选择了几何间隔作为距离评定标准(为什么要这样,怎么求出来的要知道),我们希望能够最大化与超平面之间的几何间隔x,同时要求所有点都大于这个值,通过一些变化就得到了我们常见的SVM表达式。接着我们发现定义出的x只是由个别几个支持向量决定的。对于原始问题(primal problem)而言,可以利用凸函数的函数包来进行求解,但是发现如果用对偶问题(dual )求解会变得更简单,而且可以引入核函数。而原始问题转为对偶问题需要满足KKT条件(这个条件应该细细思考一下)到这里还都是比较好求解的。因为我们前面说过可以变成软间隔问题,引入了惩罚系数,这样还可以引出hinge损失的等价形式(这样可以用梯度下降的思想求解SVM了)。我个人认为难的地方在于求解参数的SMO算法

2. SVM推导

3. SVM多分类方法(1对1 ,1对多,多对多)

常用核函数及核函数的条件

我们通常说的核函数指的是正定核函数,其充要条件是对于任意的x属于X,要求K对应的Gram矩阵要是半正定矩阵。
线性核:主要用于线性可分的情况
多项式核
RBF核径向基,这类函数取值依赖于特定点间的距离,所以拉普拉斯核其实也是径向基核。
高斯核

4. 带核的SVM为什么能分类非线性问题?

核函数的本质是两个函数的內积,而这个函数在SVM中可以表示成对于输入值的高维映射。注意核并不是直接对应映射,核只不过是一个內积。

5. SVM中如何处理数据偏斜

可以对数量多的类使得惩罚系数C越小表示越不重视,相反另数量少的类惩罚系数变大。

6. SVM中的鲁棒性问题

SVM(支持向量机)本身对噪声具有一定的鲁棒性,但实验证明,是当噪声率低于一定水平(如40%)时噪声对SVM没有太大影响,算法仍有效,但随着噪声率的不断增加,分类器的识别率会降低。http://www.docin.com/p-749158537.html

猜你喜欢

转载自blog.csdn.net/qq_23869697/article/details/82149061