第二に、二重の問題
1、最適化問題の種類
（1）無制約最適化問題：
溶液方法：関数得るF（X）誘導体、その後ゼロに許可を、最適な候補値を決定し、その後、これらの候補値ことを確認することができ、それは凸関数である場合、最適なソリューションを保証することができます。
（2）制約最適化問題の方程式：
すなわち、制約式H I（X）係数F（Xが呼び出さ式のように書かれた）、ラグランジュ関数、係数呼ばラグランジュ乗数を。各ラグランジュ変数ガイドを求めることによって、それがゼロであること、候補値の組を決定することができ、次いで最適値が得られることを確認します。
（3）最適化問題の不等式制約があります：
すべての等式制約と不等式制約F（Xは）式のように記述され、この式は、とも呼ばまた、ラグランジュ乗算係数として知られるラグランジュ関数、。
条件、最適値を得るために必要な条件の数によって、この条件が呼び出されKKT条件。
2、双対問題
ラグランジュ乗数のSVM基本的な使用方法は、（双対問題）貸し出さすることができ、「二重の問題。」
解決の手順：
解的稀疏性: 训练完成后 , 最终模型仅与支持向量有关
支持向量机(Support Vector Machine, SVM) 因此而得名
3、硬间隔与软间隔
硬间隔：不允许样本分类错误
软间隔：允许一定量的样本分类错误
假如现在有一份数据分布如下图：
按照线性可分支持向量机的思想，黄色的线就是最佳的决策边界。很明显，这条线的泛化性不是很好，造成这样结果的原因就是数据中存在着异常点，那么如何解决这个问题呢，支持向量机引入了软间隔最大化的方法来解决。
所谓的软间隔，是相对于硬间隔说的，即之前我们所讲的支持向量机学习方法。回顾下硬间隔最大化的条件：
接着我们再看如何可以软间隔最大化呢？SVM 对训练集里面的每个样本 ( xi , yi ) 引入了一个松弛变量 xi ≥ 0 , 使函数间隔加上松弛变量大于等于 1 ，也就是说：
对比硬间隔最大化，可以看到我们对样本到超平面的函数距离的要求放松了，之前是一定要大于等于 1 ，现在只需要加上一个大于等于 0 的松弛变量能大于等于 1 就可以了。也就是允许支持向量机在一些样本上出错，如下图：
基本思路：
