支持向量机
支持向量机（Support Vector Machine，SVM）是Corinna Cortes等于1995年首先提出，是一种监督学习方法，核心思想是找到一个超平面对数据进行分割。用到局部对偶理论、库恩—塔克尔定理和核方法。
（1）局部对偶理论（Local Duality Theorem）
在条件为等式的情况下，最小化目标函数，问题转化为最小化一个目标公式。公式如下：
利用拉格朗日乘子法把问题转化为如下公式：
（2）库恩—塔克尔定理（Karush-Kuhn-Tuchker Theorem，KKT）
库恩—塔克尔定理解决的是约束条件是不等式的情况。
问题如下：
（3）核方法（kernel method）
在原始数据的空间中，原始数据不好找到超平面进行划分，利用核函数对原始数据进行映射，到新的空间里，新的数据是可以划分的，这种方法称核方法（kernel method）。
常见的和函数有如下：
（4）支持向量机的理论
支持向量机的目的是要找到离不同数据之间的距离最大的超平面，假设是二维的情况。
目标公式如下：
