吃瓜教程笔记—Task 05（支持向量机）

支持向量机

算法原理

 从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，且不偏不倚，泛化性能更好。

超平面定义：

任意点x到超平面的距离公式证明：

几何间隔

支持向量机

注：此时把最大化问题，转为了最小化问题

拉格朗日对偶

凸优化问题：

拉格朗日对偶对任意优化问题都可以用




回到支持向量机主问题上：

软间隔

 支持向量机是在线性可分的情况下，而在现实任务中，线性不可分的情形才是最常见的，因此需要允许支持向量机犯错。


（6.29）式子可以看做支持向量机的一般化形式

支持向量回归