原创： Peter盼 人人都是极客 2018-11-20
“谈情说AI” 有段日子没有更新了，今天我们挽起袖子继续新的一节。从今天起我们的学习之旅进入了新的阶段，之所以说是新的阶段，是因为之前讲的几个模型：线性回归、朴素贝叶斯、逻辑回归和决策树等背后的数学推导都算初级难度。今天开始讲AI的经典算法——SVM，经过几天坐地铁时间的学习终于搞清楚了SVM背后的来龙去脉。废话少说，让我们进入 “谈情说AI” 新的旅程——SVM。
线性可分
先举个简单的例子。如下图所示，现在有一个二维平面，平面上有两种不同的数据，分别用圈和叉表示。由于这些数据是线性可分的，所以可以用一条直线将这两类数据分开，这条直线就相当于一个超平面，超平面一边的数据点所对应的y全是红色 ，另一边所对应的y全是蓝色。
这样，两类样本完美地被绿线分隔开。此时，我们说这两类样本在其特征空间里线性可分。
那什么样的超平面是最佳的呢，一个合理的策略是：以最大间隔把两类样本分开的超平面，是最佳超平面！
其实线性可分支持向量机就是：以找出线性可分的样本在特征空间中的最大间隔超平面为学习目的的分类模型。
下面我们看看如何找到最大间隔超平面。
寻找最大间隔超平面
我们可以先找到两个平行的，能够分离正负例的辅助超平面，然后将它们分别推向正负例两侧，使得它们之间的距离尽可能大，一直到有至少一个正样本或者负样本通过对应的辅助超平面为止——推到无法再推，再推就“过界”为止。
下图是二维坐标系里，两个辅助超平面（蓝、红两条直线）的例子：
这两个超平面互相平行，它们范围内的区域称为“间隔”，最大间隔超平面位于这两个辅助超平面正中的位置与它们平行的超平面——图中绿线为最大间隔超平面。
下面我们推导下红蓝绿这三条直线的式子：
故这个超平面由其法向量 w 和截距 b 确定，可用 (w, b) 表示。
【推荐阅读】
Peter教你谈情说AI | 05用梯度下降法求线性回归模型
Peter教你谈情说AI | 07决策树(上)—既能回归又能分类的模型
Peter教你谈情说AI | 08决策树(中)—既能回归又能分类的模型
Peter教你谈情说AI | 09决策树(下)—既能回归又能分类的模型
轻轻一扫 欢迎关注~
