统计学习的对象
- 统计学习关于数据的基本假设是同类数据具有一定的统计规律性, 这是统计学习的前提
- 监督学习假设输入与输出的随机变量X和Y遵循联合概论分布P(X,Y). 该假设就是监督学习关于数据的基本假设
统计学习的方法
- 假设数据是独立同分布产生的
- 假设要学习的模型属于某个函数的集合, 称为假设空间(hypothesis space)
- 应用某个评价准则(evaluation criterion), 从假设空间中选取一个最优的模型, 使它对已知训练数据及未知测试数据在给定的评价准则下有最优的预测
输出空间
- 输入变量与输出变量均为变量序列的预测问题称为标注问题. 可以认为标注问题是分类问题的一个推广
泛华能力
- 通常将学习方法对未知数据的预测能力称为泛化能力