课程来源：林轩田《机器学习技法》
课程地址：
https://www.bilibili.com/video/av12469267/?p=1
1. 如何放宽一些条件，提高泛化能力？
借鉴pocket方法，允许一定数量的点犯错，但是犯错的点越少越好。
2. 但是这样有两个问题
1）不再是线性，不能用二次规划解
2）不能区分犯大错和小错的情况
3. 因此改成根据错误的大小来惩罚，这样又变回了线性问题，可以用QP解
4. 开始转换成拉格朗日对偶问题
1）分成二次项和一次项两部分
2）同样，用求导的方式消去一些值
3）带入，消掉
4）剩下的问题变得很熟悉了，只是多了一个限制条件
5. 如何解b？
1）想办法让Es为0，那么就需要（C-an）不为0，那么只要能找到这样一个an，就能解出b了
2）有少数情况没有这样的an（all an=C），那么这时候b就有多个解了
6. Soft Kernel下C参数对分类平面的影响
7. an三种情况对应的三种点
1）an=0，此时En=0，是在安全的区域内
2）0<an<C，此时En=0，是支持向量
3）an=C，此时En=1-yn（wTz+b），是在惩罚区域内
8. 证明：采用留一法做交叉验证时，最大误差不会超过 支持向量的数量/样本量N（本质是因为非支持向量不影响模型质量）
9. 因此可以用支持向量数量做一个上限分析，如果支持向量太多，误差的上限会很高，比较不安全
10. 总结