【深度学习】彻底理解过拟合和欠拟合

在深度学习中,我们经常听到过拟合和欠拟合这两种术语,那么它们到底是什么呢?今天我用最通俗的语言来解释什么是过拟合和欠拟合,保证能看懂。

一、欠拟合

各位看官,咱们先聊聊什么是欠拟合。欠拟合从字面意思理解的话,能够直观的感觉出来这不是一个褒义词,尤其是还有一个欠字。打个比方:你让一个小学生去学深度学习,由于他没有数学基础以及一定的逻辑思维,他搞不定啊 !说明小学生的能力还不够,道行浅。这在深度学习中表现为模型太过于简单,处理不了太过复杂的问题,导致模型在训练集上的预测效果不好。

五个字总结:模型太简单。

怎么解决这种问题呢?很简单,让模型复杂点就得了呗。

二、过拟合

明白了什么是欠拟合之后,咱们聊聊过拟合,还是举个例子吧:

小明高三了,马上就要高考了,每天做大量的模拟题,题目里面的套路被他掌握的差不多了,每次考试都能考150分,0 Error。他信心满满的去高考,结果发现高考试题和他平时做的模拟题有很大的差别,结果成绩不太理想。

这个就是一个过拟合的现象,平时训练的时候成绩很好,一到真正上考场上发挥的却差强人意。

在深度学习中,过拟合表现为,模型在训练集上表现得非常好,失误率为1%,而在测试集上表现得却不好,错误率为15%。这是什么原因产生得呢?

1、模型过于复杂、参数过多。参数越多,模型的表达能力越强,导致模型过度的去拟合训练集,泛化能力差。

2、数据太少。

3、训练集和预测集的数据分布不同。

4、 样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;

解决办法如下:

1、正则化

2、Dropout

3、增加数据

4、 early stopping

以上就是对过拟合和欠拟合的理解,下篇文章再讲解处理过拟合的具体方法。

如果您觉得文章对你有帮助,点个关注不迷路~

以上就是本文的全部内容,获取深度学习资料以及更多深度学习课程,扫描下方公众号,回复“资料”两字即可获取,祝您学习愉快。

猜你喜欢

转载自blog.csdn.net/qq_38230338/article/details/107733589
今日推荐