031. SVM 支持向量机

代价函数及原理

作为一种二类分类模型，与逻辑回归的区别：

• 超平面与间隔：

  
  

  由点到平面距离公式以及平面公式相关知识，可知 wx+b 的正负和绝对值大小可以表示分类预测结果以及相对的预测确信程度。

  SVM对分类取 -1，+1：主要是方便计算，契合超平面分类。（只要有两个不同只都等价于分类）

  
  （这里令函数间隔为1，方便计算）
  ~决定分类超平面时仅支持向量起作用，在间隔边界外移动或去除实例其他点，不会改变解。

• 如何求解上面的约束优化问题？

  答：利用拉格朗日乘子法、拉格朗日对偶性及KKT条件。
  (这里先省去展开。。小白的总结不好)

• 加入软间隔（利用松弛变量、替代 0/1 损失函数）：

  
  
  
  
  

  
  （1.这里用的是hinge损失函数；2.留意 not just，类似“安全间距”）

图像理解

大间距分类器：具有鲁棒性。

大间隔分类器

（可视作x(i)在θ上的投影）

核函数

除了尝试用非线性方程确立复杂的决策边界，核函数也是一种可行的方法。

• 高斯核：
  
  
  σ是高斯核函数的参数。

  
  例子：
  

  • 其他核函数：

    

    多项式核函数
    
    还有字符串和函数、卡方核函数、直方相交核函数等等

选取标记点及其他问题

样本法 例子：

之后是运用核函数的学习训练：

参数问题：

运用于两种常用的的核函数：（线性核函数：没有核参数的函数）

注意使用高斯核函数前对数据规范化！

多分类

模型选择

逻辑回归和线性核函数：如果特征多一点，可以考虑后者

第三种情况：采用高斯核运算速度会慢

好的软件包一般能取到全局最优解（凸优化），不用担心局部最优的问题。