【ML】统计学习方法笔记

S1

1. 统计学习的基本假设是同类数据具有一定的统计规律性
2. 特征空间(featrure space)的每一维对应于一个特征。有时假设输入空间与特征空间为相同空间，对他们不予区分。有时假设输入空间与特征空间为不同的空间，将实例从输入空间映射到特征空间。模型实际上都是定义在特征空间上的。
3. 期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。大数定理，当样本容量趋于无穷时，经验风险趋于期望风险。
4. 极大似然估计就是经验风险最小化的例子。当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。
   1. 极大似然估计(MLE):模型已定参数未定，找出一组参数使得模型产生出观测数据的概率最大。
5. 结构风险最小化就是为了防止过拟合，等价于正则化。加上表示模型复杂度的正则化项或惩罚项。结构风险小需要经验风险与模型复杂度同时小。
6. 贝叶斯估计的最大后验概率估计就是结构风险最小化的例子。当模型是条件概率分布，损失函数是对数损失函数，模型复杂度由模型的先验概率表示时，结构风险最小化就等价于最大后验概率估计。
   1. https://www.cnblogs.com/sylvanas2012/p/5058065.html
7. 将学习方法对位置数据的预测能力称为泛化能力。
8. 从贝叶斯的角度看，正则化项对应于模型的先验概率，可以假设复杂的模型有较大的先验概率，简单的模型有较小的先验概率。
9. 模型选择的两种方法：正则化/交叉验证。
10.