重要概念汇总

1. 过拟合：指学习时选择的模型所包含的参数过多， 以致于出现这一模型对已知数据预测得很好， 但对未知数据预测得很差的现象。过度拟合，指的是模型过度拟合训练集数据，而对预测集数据预测的效果比较差。一般是由于模型参数过多导致的。
2. 最优化是对损失函数进行优化，而不是对原函数。（在学习感知机一章中，差点弄错了）。
3. 经验风险：训练集的平均损失。
4. 结构风险：经验风险的基础上加上表示模型复杂度的正则化项。
5. 模型选择的方法是：正则化与交叉验证。正则化是结构风险最小化的实现，是在经验风险的基础上加正则化项。