第 1 章 统计学习及监督学习概论

1. 统计学习

1. 统计学习的特点

2. 统计学习的对象

3. 统计学习的目的

4. 统计学习方法

实现统计学习方法的步骤如下：

5. 统计学习的研究

6. 统计学习的重要性

2. 统计学习的分类

2.1 基本分类

1. 监督学习

(1) 输入空间、特征空间和输出空间

提取： 输入为实例 (instance)、由特征向量 (feature vector) 组成

特征空间是输入空间的映射，有时特征空间就是输入空间，有时比如对输入空间进行标准化等处理后得到的空间为特征空间

(2) 联合概率分布

注： 设 $X$ 是一个随机变量，$x$ 是任意实数，函数 F ( x ) = P { X ≤ x } F(x) = P\{X \leq x\} F(x)=P{ X≤x} 称为 $X$ 的分布函数。有时也记为 $X$ ~ $F(x)$

(3) 假设空间

(4) 问题的形式化

2. 无监督学习

3. 强化学习

4. 半监督学习与主动学习

2.2 按模型分类

1. 概率模型与非概率模型

2. 线性模型与非线性模型

3. 参数化模型与非参数化模型

2.3 按算法分类

2.4 按技巧分类

1. 贝叶斯学习

2. 核方法

3. 统计学习方法三要素

3.1 模型

3.2 策略

1. 损失函数和风险函数

2. 经验风险最小化与结构风险最小化

3.3 算法

4. 模型评估与模型选择

4.1 训练误差与测试误差

4.2 过拟合与模型选择

5. 正则化与交叉验证

5.1 正则化

5.2 交叉验证

1. 简单交叉验证

2. $S$ 折交叉验证

3. 留一交叉验证

6. 泛化能力

6.1 泛化误差

6.2 泛化误差上界

7. 生成模型与判别模型

8. 监督学习应用

8.1 分类问题

8.2 标注问题

8.3 回归问题

本章概要

习题

参考文献