支持向量机 - 引言

支持向量机 - 引言

        支持向量机也许是所有使用核学习方法中最好的机器学习算法。
        在第 4 章，我们学习了由反向传播算法训练的多层感知器，该算法好的特点是其简单性，但是算法收敛速度慢且缺少最优化性。在第 5 章，我们研究了另一类前馈网络，即径向基函数网络，其主要思想来自于插值理论，然后描述了次最优的两阶段设计过程。在这一章，我们将讨论另一种通用的前馈网络的类型，称为支持向量机 (support vector  machines，SVMs)。
        从本质上来说，支持向量机是具有很多优秀性能的两类机器学习方法。要解释它是如何工作的，从模式分类中可分离模式的情况开始可能是最容易的。在此背景下，支持向量机的主要思想可以总结如下：
        给定训练样本，支持向量机建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘被最大化。
        在处理更加复杂的线性不可分的模式时，我们原则性地对算法的基本思想进行扩展。
        在支持向量 xi 和从输入空间提取的向量 x 之间的内积核这一概念是构造支持向量机学习算法的关键。最重要的是，支持向量是由算法从训练数据中抽取的小的子集构成。事实上，支持向量机被称为核方法是由于其构造过程中这一关键的性质。但是不同于第 5 章中描述的次优化核方法，对于支持向量机的设计来说核方法本质上是最优的。而最优性是根植于凸最优。但是支持向量机这些令人满意的特点是通过增加计算复杂度得到的。
        与第 4 章和第 5 章讨论的过程一样，支持向量机可以用来解模式识别和非线性回归问题，但是对于解复杂的模式分类问题而言支持向量机具有尤为重要的影响。

References
(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572