煎鱼不可能有BUG
囫囵吞枣看完SVM，个人感觉如果不好好理解一些概念，或说如果知其然而不知其所以然的话，不如不看。因此我想随便写一写，把整个思路简单地整理一遍。：)
SVM与神经网络
支持向量机并不是神经网络，这两个完全是两条不一样的路吧。不过详细来说，线性SVM的计算部分就像一个单层的神经网络一样，而非线性SVM就完全和神经网络不一样了(是的没错，现实生活中大多问题是非线性的)，详情可以参考知乎答案。
这两个冤家一直不争上下，最近基于神经网络的深度学习因为AlphaGo等热门时事，促使神经网络的热度达到了空前最高。毕竟，深度学习那样的多层隐含层的结构，犹如一个黑盒子，一个学习能力极强的潘多拉盒子。有人或许就觉得这就是我们真正的神经网络，我们不知道它那数以百千计的神经元干了什么，也不理解为何如此的结构能诞生如此美好的数据 —— 犹如复杂性科学般，处于高层的我们并不能知道底层的”愚群“为何能涌现。两者一比起来，SVM似乎也没有深度学习等那么令人狂热，连Hinton都开玩笑说SVM不过是浅度学习(来自深度学习的调侃)。
不然，个人觉得相对于热衷于隐含层的神经网络，具有深厚的数学理论的SVM更值得让我们研究。SVM背后伟大的数学理论基础可以说是现今人类的伟大数学成就，因此SVM的解释性也非神经网络可比，可以说，它的数学理论让它充满了理性，这样的理性是一个理工科生向往的。就如，你渴望知道食物的来源以确定食物是否有毒，如果有毒是什么毒，这样的毒会在人体内发生了什么反应以致于让你不适 —— 我的理性驱使我这么想，一个来路不明的食物是不能让我轻易接受的。
SVM是什么
简单点讲，SVM就是个分类器，它用于回归的时候称为SVR(Support Vector Regression)，SVM和SVR本质上都一样。下图就是SVM分类：
(边界上的点就是支持向量，这些点很关键，这也是”支持向量机“命名的由来)
SVM的目的：寻找到一个超平面使样本分成两类，并且间隔最大。而我们求得的w就代表着我们需要寻找的超平面的系数。
用数学语言描述：
这就是SVM的基本型。
SVM的基本型在运筹学里面属于二次规划问题，而且是凸二次规划问题(convex quadratic programming)。
二次规划
二次规划的问题主要用于求最优化的问题，从SVM的求解公式也很容易看出来，我们的确要求最优解。
简介：
在限制条件为
的条件下，找一个n 维的向量 x ，使得
为最小。
其中，c为n 维的向量，Q为n × n 维的对称矩阵，A为m × n 维的矩阵，b为m 维的向量。
其中，根据优化理论，如果要到达最优的话，就要符合KKT条件(Karush-Kuhn-Tucker)。
KKT
KKT是在满足一些有规则的条件下，一个非线性规则问题能有最优解的一个充分必要条件。也就是说，只要约束条件按照这个KKT给出的规则列出，然后符合KKT条件的，就可以有最优解。这是一个广义化拉格朗日乘数的成果。
把所有的不等式约束、等式约束和目标函数全部写为一个式子
L(a, b, x)= f(x) + a*g(x)+b*h(x)
KKT条件是说最优值必须满足以下条件：
L(a, b, x)对x求导为零
h(x) = 0
a*g(x) = 0
对偶问题
将一个原始问题转换为一个对偶问题，懂的人知道对偶问题不过是把原始问题换了一种问法，从另一角度来求问题的解，其本质上是一样的。就好像我不能证明我比百分之五的人丑，但是我能证明我比百分之九十五的人帅，那样就够了。那么，为啥要用对偶问题，直接求原始问题不好吗?参考一下为什么我们要考虑线性规划的对偶问题?
而二次规划的对偶问题也是二次规划，性质、解法和原来一样，所以请放心。(只做简要介绍
最后训练完成时，大部分的训练样本都不需要保留，最终只会保留支持向量。这一点我们从图上也能看得出来，我们要确定的超平面只和支持向量有关不是吗?
(你看，只和支持向量有关)
然而，问题又出现了(新解法的出现总是因为新问题的出现)，对于SVM的对偶问题，通过二次规划算法来求解的计算规模和训练样本成正比，开销太大。换句话来说，输入数据小的时候还好，不过小数据几乎没啥用，但是数据量大起来又计算量太大，所以就得寻找一种适合数据量大而且计算量小的解法，这个就是SMO。 郑州看男性专科医院:http://www.zztjnk.com/郑州医院哪家看男科好:http://www.zztjnk.com/郑州妇科医院:http://www.xasgfuke.cn/郑州妇科医院哪家好:http://www.xasgfuke.cn/