注：本帖来源观看《python数据分析与机器学习实战》后的学习笔记
0，补充知识：
已知直线/平面W(T)x+b=0，那么点x到直线/平面的距离为
这里我们注意到有绝对值的存在，在计算机中这是不容易表示的，于是我们可以引入yi：
【注：这里之所以写成x的函数是因为有时需要从低维映射到高维，而且有时线性不可分时需要引入高斯核函数】
这时距离可以表示为：
便去掉了绝对值。
1，优化目标-决策边界：
找到一条线(w,b)，使得离该线最近的点达到最远，或许可以通俗的理解为使最不容易区分的点区分的更明显一些。
用函数表示就是：
首先min中求了所有点中离线最近的点，max是使得该点与边界最远。
如果在这里通过放缩使得min中值恒大于等于1，那么最大值问题可等价于求w的模分之一的最大值，此时问题可等价于：
2，求解过程
首先温习一下拉格朗日法求解的步骤：
引入数学KKT公式（这里不详细证明）
此时，令L对w,b的偏导数均为0，求出：
将求出结果带回L(w,b,a)得：
接下来要求如何取a使得L最大，求一个数的最大值也即求该数相反数的最小值，即：
此时，便又转化为了拉格朗日问题，我们只需对
当然，这里还要注意一个问题，那就是所有的
最终，我们将求得的值带入到公式从而求出w的值：
任选一点xi,yi带入下式，求得b：
——————————————————————————————————————————————
以上就是求解的全过程，最后我们再来抛开公式说一说为什么叫该方法为支持向量机：
首先，如果自己尝试一个具体的例子就会发现，最终只有边界点对应的
此时，我们可以说决策变量是由边界上的点支持决定的，我们可以叫这些边界点为支持向量，只有这些支持向量会对结果有影响。
这里用图示说明可能更清楚，如下图所示，只有实心点为支持向量，对分类结果有影响，其他空心点对结果没有任何影响。
