支持向量机 SVM

一. SVM思想

                              图a

假图a中设圈出的红圈和篮圈都是训练数据，而紫色分割线是我们训练出来的模型。那么这个模型就会存在很大问题，比如，新来一个A点，根据这条线的分割，就会把A点归类到蓝色一边，然而，真实情况是这个A点离红色的点更近，那么这就造成了预测的失误，这是因为这个决策边界没有很好的泛化能力。

为了解决这个问题，所以SVM来解决上述存在的问题。解决思想是：选择一条边界距离红色和蓝色的最近的点都要最远，那么这条边界就是一个非常好的决策边界。那么如何寻找这条线呢？这就需要借助支持向量，如下图中的线a和b，离将来的最优分割线最近的样本点所构成的线就是支持向量，然后取这两条线中间的线就是最优的决策边界，这条边界将会有很强的泛化能力。如下图b所示：

                              图b

接下来，我们的就需要把我们的问题转化成一个数学问题，也就是求最大的d值。

为了找到更好的分界线，我们还可以对上面的求解进行优化，也就是给最近