吴恩达深度学习细节补充(二)——欠拟合过拟合与误差分析

在调整一个模型的过拟合的问题时可以有较多的方法,吴恩达在视频中给出了L2正则化、dropout正则化、数据扩增、early stoping(损失值与迭代次数的函数)等方法,具体的解释可以了解一下吴恩达深度学习的笔记136页:

https://download.csdn.net/download/livan1234/10565750

但是对常规的机器学习方法没有没有做较多的描述,此处做一些补充。

在数据的建模过程中会出现过拟合和欠拟合的问题,欠拟合的问题可以通过数据扩增来实现,过拟合问题除了L2、dropout、early stop还可以通过图形化的方式来解决,主要是采用一些机器学习方面的知识点完成。

过拟合和欠拟合在模型方面主要体现在方差和偏差上,过拟合的模型方差一般比较大,欠拟合的模型一般偏差比较大,所以可以直接将过拟合的问题转化成解决方差和偏差的问题。

  1. 方差/偏差分析图:

常见的损失函数公式为:

这两个函数对应的图形为:

这个函数是损失值与函数维度的函数,模型数据的维度会影响模型的效果:

 

2、正则化方程L2的参数调整:

正则化函数本身是为了调整过拟合的问题,中间会产生一个调整参数,上面的模型是为了确定正则化调整参数,测试集与训练集会产生一个与参数相关的函数,如上图,测试集的最低点对应的参数值即为最稳定的参数点。

3、学习曲线:

学习曲线主要是训练集和测试集关于误差与训练集实例数量m的函数,当数据量较少时训练集的误差较少,测试集的误差较大,随着数据量的增加,训练集的误差与测试集的误差逐渐接近,当训练集的误差与测试集的误差稳定时,对应的数据规模就是最好的规模值。

总结对应的方法为:

上面为通过图形方式解释的模型过拟合的问题,具体的细节可以在斯坦福大学的教程中探索,资料地址为:https://download.csdn.net/download/livan1234/10565723

本文只是将两本书的内容做一次汇总,有纰漏的地方请指正。

 

猜你喜欢

转载自blog.csdn.net/livan1234/article/details/81627649
今日推荐