学习笔记：机器学习之过拟合

如果认为训练数据中的每一个元素都是正确的，并且以此去精确地拟合模型，那么得到已将低泛化的模型。这就是“过拟合”。
两种典型的方法：正则化、验证

1、正则化

正则化是一种数值方法，这种方法试图构建一个尽可能简单的模型结构。简化后的模型可以以较低的性能代价避免过拟合。

2、验证

它保留一部分训练数据用于观察模型的性能。验证集不用于训练过程。当训练好的模型在验证集上表现很差时，就可以说这个模型是过拟合了。这时，就要修改模型了。
交叉验证： 不保留最初划分的数据集作为测试集（验证集）。原因是防止由于固定的验证集而过拟合。交叉验证保证了验证集的随机性，所以可以更好的探测模型的过拟合水平。