谷歌机器学习速成课程笔记 8(Validation-验证)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_30354455/article/details/79846091

看了谷歌机器学习的视频,受益颇多,纯属想记录下免得以后忘了,٩(๑❛ᴗ❛๑)۶

接着上一篇(谷歌机器学习速成课程笔记 7),我们会将数据集分成训练集合测试集。好,现在我们将用训练集训练一种模型,然后使用测试数据对模型进行测试并观察其效果,之后我也许会进行一些设置,比如调整学习效率、添加一些特征,除去一些特征等等,然后重新尝试前面的操作,看能否提高测试集准确率,直到根据测试集指标找出最佳模型为止。
……………停,
这样做有问题吗?
答案是肯定的(/笑哭)。

我们可能针对测试集的特性进行了过拟合。


如何解决?增加一个“验证集”
这里写图片描述
我们可以使用一种增幅小的迭代方法,对训练集进行迭代训练,然后仅使用验证集进行评估和改善模型,将测试集搁置一旁,完全不使用测试集。我将不断调整各项参数以改善模型,直到根据验证数据得出更满意的模型为止。
最后,我才会根据最终测试集测试我的模型,因为我要确保根据测试集得出的结果,基本上符合根据验证集得出的那个结果;如果不符合,则充分说明我可能对验证集进行了过拟合。

猜你喜欢

转载自blog.csdn.net/qq_30354455/article/details/79846091