支持向量机回归(SVR)

支持向量机回归(SVR)是支持向量机在回归问题上的应用模型。支持向量机回归模型基于不同的损失函数产生了很多变种。本文仅介绍基于$\epsilon$不敏感损失函数的SVR模型。

核心思想

找到一个分离超平面(超曲面)，使得期望风险最小。

$\epsilon$-SVR

$\epsilon$-损失函数

$\epsilon$-损失函数，就是当误差小于$\epsilon$时，该误差可忽略。反之，误差为$\xi-|\epsilon|$。如图所示：

基于$\epsilon$-损失函数的SVR称为$\epsilon$-SVR。
优化问题如下：

$\nu$-SVR

同$\nu$-支持向量机分类，另设一个参数$\nu$来调节支持向量的个数。
优化问题如下：
$C,\nu$是用户自由设置的，故直接将$C/l$称为$C$,$C\nu$称为$\nu$，则最优化函数等同于：

$$\min_{w, b, \xi^*,\xi, \epsilon}\qquad \frac{1}{2}w^Tw+\nu\epsilon+C\sum_{i=1}^{l}(\xi_i+\xi_i^*)$$

支持向量

直观地理解，支持向量就是对最终的w,b的计算起到作用的样本($\alpha\geqslant0$)。那么根据$\epsilon$不敏感函数图像，不敏感区域形同一个“管道”。管道之内的样本对应$\alpha=0$，为非支持向量；位于“管壁”上的为边界支持向量，$0<\alpha<C$,为边界支持向量；位于“管道”之外的为非边界支持向量，$\alpha\geqslant C$,为非边界支持向量(异常点检测时，常从非边界支持向量中挑选异常点)；
注：图片来自LIBSVM指导文档。如有不当之处，请指正。