LIBSVM学习总结

Support Vector Machines，SVM，支持向量机

---

各种SVM

---

$C$-Support Vector Classi cation

训练向量 — $x_i \in R^n, i = 1, \ldots, l$
两个类class
指标向量 — $y \in R^l$，$y_i \in \left\{ 1,-1 \right\}$
$C$-SVC解决如下原始优化问题：

$\phi \left( x_i \right)$将$x_i$映射到更高维空间，$C>0$为正则化参数。

由于向量参数$w$的可能的高维度，通常我们解决如下对偶问题

$e = \left[ 1, \ldots, 1 \right]^T$为全为1的向量
$Q$ — 一个$l \times l$的半正定矩阵positive semidefinite matrix
$Q_{ij} \equiv y_i y_j K \left( x_i, x_j \right)$
$K \left( x_i, x_j \right) \equiv \phi \left( x_i \right)^T \phi \left( x_j \right)$ — 核函数

问题（2）解决后，使用 primal-dual relationship 原始-对偶关系，最优的$w$满足：

决策函数为

为进行预测，存储如下参数：

$y_i \alpha_i, \forall i$
$b$
标签名称
其他参数 如 — 核参数

---

$\nu$-Support Vector Classi cation

引入了新的参数 — $\nu \in (0,1]$

对偶问题为

当且仅当

问题才有意义

决策函数为

可用 $e^T\alpha = \nu$ 替代 $e^T\alpha \geq \nu$

LIBSVM解决一个缩放版的问题，这是因为$\alpha_i \leq 1/l$可能过小。

若$\alpha$对于对偶问题（5）是最优的
$\rho$对于原始问题（4）是最优的
则，$\alpha/\rho$是带有$C = 1/(\rho l)$的$C$-SVM的一个最优解，因此，在LIBSVM模型中的输出为$\left( \alpha/\rho, b/\rho \right)$。

---

Distribution Estimation (One-class SVM)

单类别SVM

无类别信息

对偶问题为

决策函数为

缩放版

---

$\epsilon$-Support Vector Regression ($\epsilon$-SVR)

训练点集 — $\left\{ \left( x_1, z_1 \right), \ldots, \left( x_l, z_l \right) \right\}$
$x_i \in R^n$ — 特征向量
$z_i \in R^1$ — 目标输出
给定参数 — $C>0$ 及 $\epsilon >0$，支持向量回归的标准形式为：

对偶问题为

在解决问题（9）后，估计函数为

输出为 — $\alpha^* - \alpha$

---

$\nu$-Support Vector Regression ($\nu$-SVR)

对偶问题为

估计函数为

$e^T \left( \alpha + \alpha^* \right) \leq C\nu$可替换为等式

$\bar{C} = C/l$

如下二者有相同解
1. $\epsilon$-SVR — 参数$\left( \bar{C}, \epsilon \right)$
2. $\nu$-SVR — 参数$\left( l\bar{C}, \nu \right)$

---

性能度量

---

分类

---

回归

---

整体组织