利用支持向量机把数据转化到超平面，成为线性模型。最大边际超平面是指最大限度分割两个类的超平面；类中距离最大边际超平面最近的点为支持向量。
1，分类的起源：logistic函数（或称作sigmoid函数）
其图像为：
一个新的特征，如果大于0.5为y=1的分类，小于0.5为y=0的分类。从公式可以看出，实际上分类只与
2，线性分类实例
假设训练集及其超平面如下（红线为超平面）：
一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度，如果距离越远，则认为越好。我们用函数间隔来描述：
选择分类超平面时，只有函数间隔还远远不够，因为如果成比例的改变w和b，如将他们改变为2w和2b，虽然此时超平面没有改变，但函数间隔的值f(x)却变成了原来的2倍。于是，我们对法向量w加些约束条件，使其表面上看起来规范化，即点到超平面的规范化距离，即几何间隔：
我们寻找最优的超平面，实际上相当于寻找最大的
3，深入SVM
求1/||w||的最大值，相当于求
(2)但虽然这个问题确实是一个标准的 QP 问题，但是它也有它的特殊结构，通过 Lagrange Duality 变换到对偶变量 (dual variable) 的优化问题之后，可以找到一种更加有效的方法来进行求解，而且通常情况下这种方法比直接使用通用的 QP 优化包进行优化要高效得多。
我们令：
容易验证，当某个约束条件不满足时，例如
这里用p表示这个问题的最优值，这个问题和我们最初的问题是等价的。不过，现在我们来把最小和最大的位置交换一下（稍后，你将看到，当下面式子满足了一定的条件之后，这个式子d 便是上式P 的对偶形式表示）：
当然，交换以后的问题不再等价于原问题，这个新问题的最优值d用来表示。并且，我们有d≤ p，这在直观上也不难理解，最大值中最小的一个总也比最小值中最大的一个要大吧！ 总之，第二个问题的最优值d在这里提供了一个第一个问题的最优值p的一个下界，在满足某些条件的情况下（即KKT条件)，这两者相等，这个时候我们就可以通过求解第二个问题来间接地求解第一个问题。
也就是说，下面我们将先求L 对w、b的极小，再求L 对的极大。而且，之所以从minmax的原始问题p，转化为maxmin的对偶问题，一者因为是的近似解，二者，转化为对偶问题后，更容易求解。
3，KKT条件：
一般地，一个最优化数学模型能够表示成下列标准形式：
其中，f(x)是需要最小化的函数，h(x)是等式约束，g(x)是不等式约束，p和q分别为等式约束和不等式约束的数量。同时，我们得明白以下两个定理：
凸优化的概念：
KKT条件的意义：它是一个非线性规划（Nonlinear Programming）问题能有最优化解法的必要和充分条件。
KKT条件：
4，实例
单变量的约束问题：
求，
已经上式为二次函数，可知最小点为α/2，代入上式：
可知，α=2取得最大值，代入可得