在深度学习中,我们经常听到过拟合和欠拟合这两种术语,那么它们到底是什么呢?今天我用最通俗的语言来解释什么是过拟合和欠拟合,保证能看懂。
一、欠拟合
各位看官,咱们先聊聊什么是欠拟合。欠拟合从字面意思理解的话,能够直观的感觉出来这不是一个褒义词,尤其是还有一个欠字。打个比方:你让一个小学生去学深度学习,由于他没有数学基础以及一定的逻辑思维,他搞不定啊 !说明小学生的能力还不够,道行浅。这在深度学习中表现为模型太过于简单,处理不了太过复杂的问题,导致模型在训练集上的预测效果不好。
五个字总结:模型太简单。
怎么解决这种问题呢?很简单,让模型复杂点就得了呗。
二、过拟合
明白了什么是欠拟合之后,咱们聊聊过拟合,还是举个例子吧:
小明高三了,马上就要高考了,每天做大量的模拟题,题目里面的套路被他掌握的差不多了,每次考试都能考150分,0 Error。他信心满满的去高考,结果发现高考试题和他平时做的模拟题有很大的差别,结果成绩不太理想。
这个就是一个过拟合的现象,平时训练的时候成绩很好,一到真正上考场上发挥的却差强人意。
在深度学习中,过拟合表现为,模型在训练集上表现得非常好,失误率为1%,而在测试集上表现得却不好,错误率为15%。这是什么原因产生得呢?
1、模型过于复杂、参数过多。参数越多,模型的表达能力越强,导致模型过度的去拟合训练集,泛化能力差。
2、数据太少。
3、训练集和预测集的数据分布不同。
4、 样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;
解决办法如下:
1、正则化
2、Dropout
3、增加数据
4、 early stopping
以上就是对过拟合和欠拟合的理解,下篇文章再讲解处理过拟合的具体方法。
如果您觉得文章对你有帮助,点个关注不迷路~
以上就是本文的全部内容,获取深度学习资料以及更多深度学习课程,扫描下方公众号,回复“资料”两字即可获取,祝您学习愉快。