《机器学习西瓜书》学习笔记——第六章_支持向量机

1、简介

支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：

当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；
当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；
当训练样本线性不可分时，通过核技巧和软间隔最大化，学习一个非线性支持向量机；当输入空间为欧式空间或离散集合、特征空间为希伯尔特空间时，核函数表示将输入从输入空间映射到特征空间得到的特征向量之间的内积。通过使用核函数可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机。

2. 对偶算法

为了求解线性可分支持向量机的最优化问题，将其作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。
优点：

1. 对偶问题往往更容易求解；
2. 自然引入核函数，进而推广到非线性分类问题。

未完待续。