【SVM】Some refined knowledge points about Support Vector Machines [part 2]

现实中更常遇到非线性问题，求解非线性问题的基本思路是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题

这就需要应用“核技巧(kernel trick)”

核技巧的基本想法就是通过一个非线性变换将输入空间(欧式空间)映射到一个特征空间(希尔伯特空间)，使得在输入空间中的超平面模型对应于特征空间中的超平面模型(支持向量机)，这样，分类问题就可以通过在特征空间中求解线性支持向量机就可以完成

核函数(kernel function)&mercer定理

●mercer定理：当一个对称函数所对应的核矩阵半正定（特征值非负），它就能作为核函数使用。核函数隐式地定义了这个特征空间，所以核函数的选择成为支持向量机的最大变数

●常用的核函数：

1、多项式核函数

2、高斯核函数

软间隔(soft margin)
结构风险=经验风险+正则化？