(3).支持向量机SVM——软间隔最大化公式手写详细推导

版权声明：本文为博主原创文章，引用时请附上链接。 https://blog.csdn.net/abc13526222160/article/details/84983692

线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适应的，因为这时上一节中不等式约束不能成立，如何扩展到线性不可分问题呢？这就需要修改硬间隔最大化，使其成为软间隔最大化。

通常情况下训练数据中有一些特异的点，将这些特异的点去处后，剩下的样本组成的集合是线性可分的。线性不可分的意思就是某些样本点不能满足函数间隔大于等于1的约束条件。为了解决这个问题，可以对每个样本点引入一个松弛变量 ,使函数间隔加上加上松弛变量大于等于1，这样约束条件变为：

                                                                         

同时，对每个松弛变量 ，支付一个代价 ，目标函数由原来的变为：

                                                                         

这里的C>0称为惩罚参数（权重），一般由应用问题决定，C值大时对误分类的惩罚增大，C值小时对误分类的惩罚减小。

                                                           

我们要求的目标函数的最小值，在引进松弛变量和惩罚参数有两个含义：①使尽量小，也就是间隔尽量大，

                                                                                                                   ②同时使得松弛变量  尽量小，也就是误分类的点个数尽量小。​​​​​​​

下面手推导具体的过程：

如若有不对的地方还望指正。