机器学习：SVM多分类，SVM回归（SVR)

分类和回归的关系：

SVM二分类，SVM多分类，SVM回归（SVR)：这三个分类类别是从少到多，从离散到连续的过程。

多分类问题处理的普适的方法：

一对多(One VS Rest):

对于一个 K 类问题、OvR 将训练 K 个二分类模型{G1,…,GK}，每个模型将训练集中的某一类的样本作为正样本、其余类的样本作为负样本。
预测结果 $y_{pred}=argmaxG_i(x)$。
这种方法比较“豪放”、主要是因为对每个模型的训练都存在比较严重的偏差：正样本集和负样本集的样本数之比在原始训练集均匀的情况下将会是1/（K−1）。针对该缺陷、一种比较常见的做法是只抽取负样本集中的一部分来进行训练。

一对一（One vs One):

对于一个 K 类问题、OvO 将直接训练出K(K−1)2个二分类模型{G12,…,G1K,G23,…,G2K,…,GK−1,K}，每个模型都只从训练集中接受两个类的样本来进行训练。在K(K−1)2次投票中得票最多的类即为模型所预测的结果。
OvO 是一个相当不错的方法、没有类似于 OvR 中“有偏”的问题。然而它也是有一个显而易见的缺点的——由于模型的量级是K^2、所以它的时间开销会相当大。

有向无环图方法（Directed Acyclic Graph Method）

DAG 会将K(K−1)/2个模型作为一个有向无环图中的K(K−1)/2节点并逐步进行决策，大概如下图：

支持向量机回归（SVR):

支持向量回归常简称为 SVR，它的基本思想与“软”间隔的思想类似——传统的回归模型通常只有在模型预测值f(x)和真值y完全一致时损失函数的值才为 0（最经典的就是当损失函数为∥f(x)−y∥^2的情形），而 SVR 则允许f(x)和y之间有一个ϵ的误差、亦即仅当:
|f(x)−y|>ϵ, 对于分类问题、只有当样本点离分界面足够远时才不计损失；对于回归问题、则只有当真值离预测值足够远时才计损失。

SVR优化目标：

SVM 优化目标：

约束条件为：