统计学习方法笔记7.3

7.3 非线性支持向量机与核函数

7.3.1 核技巧

1. 非线性分类问题
   非线性解决思路：转化为线性分类问题
   核技巧：
   
   欧几里得空间与希尔伯特空间：https://blog.csdn.net/shijing_0214/article/details/51052208
2. 核函数定义
   
3. 核技巧在支持向量机中的应用
   线性支持向量机中的目标函数和分类决策函数的内积用核函数来代替：
   
   
   这等价于经过映射函数将原来的输入空间变换到一个新的特征空间，输入空间的内积变换为特征空间的内积（核函数）来表示，在新的主题空间里从训练样本中学习支持向量。
   核函数的本质就是将原来非线性分类问题转换为线性分类问题向量机来解决。

7.3.2 正定核

函数K满足什么条件才能成为核函数？
构建希尔伯特空间——正定核

1. 定义映射，构成向量空间S
   
2. 在S上定义内积，使其成为内积空间
   
3. 将内积空间S完备化为希尔伯特空间
4. 正定核的充要条件
   
   
   该充分条件可以用来检验具体的函数是否为正定函数。
   Gram矩阵（感知机模型）：https://blog.csdn.net/wangyang20170901/article/details/79037867

7.3.3 常用核函数

1. 多项式核函数
   
2. 高斯核函数
   
3. 字符串核函数
   字符串核函数即将字符串转换为特征空间的内积。
   

7.3.4 非线性支持向量分类机

非线性支持向量机的解决：将线性向量机对偶形式的内积换成核函数。

非线性支持向量机学习算法：