SVC在非线性数据上的推广

为了能够找出非线性数据的线性决策边界，需要将数据从原始的空间x投射到新空间 $\Phi(x)$中。 $\Phi$是一个映射函数，它代表了某种非线性的变换，如同之前所做过的使用r来升维一样，这种非线性变换看起来是一种非常有效的方式。使用这种变换，线性SVM的原理可以被很容易推广到非线性情况下，其推导过程和逻辑都与线性SVM一模一样，只不过在定义决策边界之前，必须先对数据进行升维度，即将原始的x转换成 $\Phi(x)$。
如此，非线性SVM的损失函数的初始形态为：
$min_{ω,b}\frac{||ω||^2}2$
服从
$y_i(ω\cdot\Phi(x_i)+b\geqslant1),$
$i=1,2,...,N$
同理，非线性SVM的拉格朗日函数和拉格朗日对偶函数也可得：

使用同样的推导方式，让拉格朗日函数满足KKT条件，并在拉格朗日函数上对每个参数求导，经过和线性SVM相同的变换后，就可以得到拉格朗日对偶函数。同样使用梯度下降或SMO等方式对α进行求解，最后可以求得决策边界，并得到最终的决策函数：