课程来源：林轩田《机器学习技法》
课程地址：
https://www.bilibili.com/video/av12469267/?p=1
1. 为什么要选择最右边这个分类线？
因为考虑了测量误差的情况下，右边的分类线鲁棒性最强。
2. SVM推导
1）平面上的点满足
2）两个平面上的点相减会等于0，w提出来，这里的w就是法向量。平面外的点到平面的距离，就是在法向量上的投影长度
3）计算点到平面的距离。因为wtx‘=-b，所以可以提出来
4）把绝对值去掉。yn表示分类的符号，我们希望分类的符号与点到平面的距离是同一边的，所以相乘大于0，因此可以利用这样去掉绝对值符号
5）我们的目标也就转变为求所有点面距离的最小值
6）继续简化。考虑到线的系数都是可以缩放的，所以我们希望直接缩放到1，这样要求的问题就只有1/|w|了
7）此时我们的目标
8）把目标稍微放宽，发现它们的解是等价的。因为如果有大于1的最优解，那么可以通过缩放w和b的方式=1，此时w就变了，说明求得的1/|w|不是最优解。因此当求到最优解时，必然满足1。
9）进一步，将最大化转变为最小化，同时去掉绝对值（使用内积的方式）
3. 如何解上述问题？可以使用二次规划（quadratic programming，QP）。所以现在要做的就是转换成二次规划的标准形式。
4. 二次规划问题的标准形式：
1）u是变量
2）Q是二次项
3）p是一次项
5. 将求解支持向量平面的问题转换为二次规划问题，然后扔进软件，求最优解
1）u是b和w
2）这里的Q的作用就是去掉b，只留下w相关的
3）a*u=b+xw
6. SVM的理解1：和正则化其实很像，是一体两面的
7. SVM的理解2：可以同时兼顾少量维度&复杂边界情况，更灵活