李哈哈的模式识别笔记【part 4：支持向量机】
支持向量机的原理
支持向量：
Support Vector 是距离分类决策边界最近的样本点（向量点）。
通过支持向量，可以找到最大分类间隔下权向量，从而达到一种比价理想的分类决策函数。
支持向量机：Support Vector Machine（SVM）
结构风险最小化准则
什么是最优解？
使得分类间隔d取得最大值的权向量w。
SVM的优点：
- 它不需要大量的样本，最终解仅由少量支持向量决定。
- 它具有很强的泛化能力。
两种风险描述：
- 经验风险：错误分类样本集中的样本的比例
- 结构风险：一个训练好的分类器在面对未知样本时分类错误的概率
如果一味追求经验风险最小，那么可能出现过拟合情况，比如对于边界是“犬牙交互”形状时，这样的结果就不是很好。
VC维：
定义：一类函数所具有的分类能力。
线性分类器的VC维是3，而二次函数分类器的VC维至少是4。