6.1 间隔与支持向量
在样本空间中，划分超平面可通过如下线性方程来描述：
6.2 对偶问题
我们希望求解式（6.6）来得到大间隔划分超平面所对应的模型：
对式（6.6）使用拉格朗日乘子法可得到其“对偶问题”：
最终解出α，求出w和b可得模型：
对于求解式(6.6)，有一个著名的高效算法：SMO
SMO算法之所以高效，恰由于在固定其他参数后，仅优化两个参数的过程能做到非常高效。
6.3 核函数
对于这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。图6.3中，若将原始的二维空间映射到一个合适的三位空间，就能找到一个合适的划分超平面。
求其对偶问题，最终求解，即可得到:
此式显示出模型最优解可通过训练样本的核函数展开，这一展式亦称：支持向量展式
以下列出几种常用核函数
6.4 软间隔与正则化
具体来说，前面介绍的支持向量机形式是要求所有样本均满足约束（6.3） 即所有样本必须划分正确，这称为“硬间隔”，而软间隔则是允许某些样本不满足约束
人们一般用其他函数来替代 0/1 损失函数 称为”替代损失”
三种常用的替代损失函数以及图片：
把 式6.29中的0/1损失函数换成别的替代损失函数可以得到其他学习模型，性质与所用函数相关，但都有共性，可以写为更一般的形式：
第一项被称为结构风险，用于描述模型f的某些性质，第二项称为经验风险用于描述模型和训练的契合程度；C用于对二者折中。它能表述我们希望获得何种性质的模型，也有助于削减假设空间，降低了最小化训练误差的过拟合风险。从这个角度讲，式6.42称为“正则化”问题，可以使得优化过程趋向与希望目标。
6.5 支持向量回归
SVR问题可形式化为：
引入拉格朗日子，由拉格朗日子乘法得到拉格朗日函数
将式6.55带入6.19 则SVR可表示为
6.6 核方法
回顾可发现，给定训练样本，无论是SVM还是SVR学得的模型总能表示成核函数的线性组合。
表示定理表现了更一般的结论：
人们发展出一系列基于核函数的学习方法，统称为“核方法”。最常见的是通过“核化”(即引入核函数)来将线性学习器拓展为非线性学习器。