一类支持向量机

设样本集为 $x_i,i=1,2,···n$

第一种情况

如果所提供的训练样本只有一种类别，但是测试样本中可能包含着第二类样本，那么如何在训练样本只有一类的前提下来对测试样本进行正确的分类呢？
这时候一类支持向量机就应运而生了，它的基本思想是在训练的样本中计算出一个半径最小的超球面将所有测试样本都包含在这个超球体内部。那么当用这个超球体去给测试集分类的时候，落在超球体内部的样本即为第一类，落在超球体外部的样本为第二类。
在这种理想的情况下，我们求解这个超球体的可以列出以下的式子：
$\begin{cases} min F(R,a)=R^2\\ s.t. ||x_i-a||^2\leq R^2 \end{cases}$······································································································(1)

其中 $||x_i-a||^2=\sum_{j=1}^m|x_i^{(j)}-a^{(j)}|^2$···········································································(2)
n为样本点的个数，m为样本点的维数。
分类函数为：
$f(x)=sgn(R^2-||x_i-a||^2)$······················································································(3)

第二种情况

上面所说的一种情况是比较极端的，即训练集中所有样本都是第一类的，但实际情况往往是训练集中的样本包含着极少数的第二类样本，并且极有可能包含着噪声数据。这样的话如果直接用上面所述的方法来计算分类超球面就会将训练集中的第二类样本和噪声数据包含进去，是超球面的球心偏移还会使其半径增大。用这样算出来的超球面来对测试集进行分类的话精度会下降。为了解决这个问题，便加入了松弛项 $\xi_i$和惩罚调节项C。松弛项允许训练集中的一些点处于超球面的外部，惩罚调节项可以使其具备降噪功能。
在这种情况下，我们求解超球体可以列出以下的式子：
$\begin{cases} min F(R,a,\xi_i)=R^2+C\sum_{i=1}^n\xi_i\\s.t. ||x_i-a||^2\leq R^2 +\xi_i\end{cases}$·············································································(4)

分类函数为：
$f(x)=sgn(R^2-||x_i-a||^2)$·············································································(5)

求解

第二种情况为第一种情况的一般化，所以我们直接求解第二种情况。
上面优化问题的拉格朗日函数为：

$L(R,a,\xi)=R^2+C\sum_{i=1}^n\xi_i+\sum_{i=1}^n\alpha_i(||x_i-a||^2-R^2-\xi_i)-\sum_{i=1}^n\beta_i\xi_i$·························(6)

其中 $\alpha_i\ge0$, $\beta_i\ge0$
令相关变量 $R$, $a$, $\xi$的偏导为零，有：
$\bullet$当 $\frac{\partial L}{\partial R}=0$时， $\sum_{i=1}^n\alpha_i=1$,下面是详细求导过程

$\frac{\partial L}{\partial R}=2R-2R\sum_{i=1}^n\alpha_i=0$

$\bullet$当 $\frac{\partial L}{\partial a}=0$时， $a=\sum_{i=1}^n\alpha_ix_i$,下面是详细求导过程

$\frac{\partial L}{\partial a}=2\sum_{i=1}^n\alpha_i(x_i-a)\frac{\partial (x_i-a)}{\partial a}=2\sum_{i=1}^n\alpha_i(x_i-a)(-1)=0$

$\bullet$当 $\frac{\partial L}{\partial \xi_i}=0$时， $0\leq\alpha_i\leq C$,下面是详细求导过程

$\frac{\partial L}{\partial \xi_i}=\sum_{i=1}^nC-\sum_{i=1}^n\alpha_i-\sum_{i=1}^n\beta_i=\sum_{i=1}^n(C-\alpha_i-\beta_i)=0$
解得 $C-\alpha_i-\beta_i=0$
因为 $\alpha_i\ge0$且 $\beta_i\ge0$所以可以将 $\beta_i$移除，这样的话就变成了
$0\leq\alpha_i\leq C$

整理一下，有：
$\begin{cases} \sum_{i=1}^n\alpha_i=1 \\ a=\sum_{i=1}^n\alpha_ix_i \\ 0\leq\alpha_i\leq C \end{cases}$·············································································(7)

将(7)中的第二个等式代入(6)中并使得(6)关于 $\alpha_i$最大化就可以得到下面的式子：
$\begin{cases} max\sum_{i=1}^n\alpha_i-\sum_{i=1}^n\sum_{j=1}^n\alpha_i \alpha_j(x_i\cdot{x_j})\\ s.t.\sum_{i=1}^n\alpha_i=1,0\leq\alpha_i\leq C \end{cases}$············································(8)

求解这个式子就可以把 $\alpha_i$求出来，然后代入(7)式中的第二个等式就可以求出球心 $a$。通常只有少量的 $\alpha_i\ge0$,这些大于等于0的 $\alpha_i$所对应的 $x_i$即为支持向量。
知道球心之后就可以计算出样本点到球心的距离：

$D^2=||x-a||^2$············································(9)

将 $a=\sum_{i=1}^n\alpha_ix_i$代入(9)，即可求出D

$D^2=(x\cdot{x})-2\sum_{i=1}^n\alpha_i(x,x_i)+\sum_{i=1}^n\sum_{j=1}^m\alpha_i\alpha_j(x_i\cdot{x_j})$············································(10)

接下来将超球面上任一支持向量 $x_m$代入(10)即可求出超球体的半径R：
$R^2=(x_m\cdot{x_m})-2\sum_{i=1}^n\alpha_i(x_m,x_i)+\sum_{i=1}^n\sum_{j=1}^m\alpha_i\alpha_j(x_i\cdot{x_j})$·······································(11)

对于非线性情况，直接在式(10),(11)中代入相应的核函数 $k(x,y)$即可。

分类函数为：
$f(x)=sgn(R^2-D^2)$······················································································(3)

将此结果代入原式得:

可参考 常用范数求导.