支持向量机(SVM)第四章---支持向量回归

简单总结一下自己对SVM的认识：有一条带区域，固定差距为1，希望最大化间隔$\frac{1}{||w||}$。SVM的特点就是这条带的引入。

SVR同样有这样的一条带，回归的时候，落入带内的点，损失为0，只记录落入带外的点的损失值。

SVR形式化表示：
$\min 1/2 ||w||^2 + C \sum l(f(x_i) - y_i)$
其中第一项是正则化项，后面的损失函数是$\epsilon$-不敏感损失：
$if |z| < \epsilon$，l = 0
$otherwise$, l = $|z|-\epsilon$

引入松弛变量，可以重写为：
$\min 1/2 ||w||^2 + C \sum (\xi_i + \hat \xi_i)$
$s.t. f(x_i)-y_i \leq \epsilon + \xi_i$
$y_i - f(x_i) \leq \epsilon + \hat \xi_i$
$\xi_i \geq 0, i =0,...,n$
$\hat \xi_i \geq 0, i=0,...,n$

引入拉格朗日乘子，得到原问题的对偶问题：

满足的KKT条件：

其中，$\hat \alpha_i - \alpha_i \neq 0$的样本为支持向量，它们必然落在间隔带之外， 落在间隔带内的样本$\hat \alpha_i =0 , \alpha_i = 0$。SVR的支持向量仅是训练样本的一部分，即其解仍具有稀疏性。