机器学习(八) 多项式回归与模型泛化(下)

版权声明:本文为博主原创文章,随便转载。 https://blog.csdn.net/qq_36107346/article/details/83511523

六、验证数据集与交叉验证

七、偏差方差平衡

偏差方差权衡 Bias Variance Trade off

偏差 Bias

导致偏差的主要原因:

对问题本身的假设不正确!

如:非线性数据使用线性回归

欠拟合 underfitting

方差 Variance

数据的一点点扰动都会较大的影响模型

通常原因,使用的模型太复杂

如高阶多项式回归。

过拟合 overfitting

偏差和方差

有一些算法天生高方差,KNN

非参数学习通常都是高方差算法。因为不对数据进行任何假设。

有一些算法天生是高偏差算法。如线性回归。

参数学习通常都是高偏差算法。因为对数据具有极强的假设。

大多数算法具有相应的参数, 可以调整偏差和方差。

如 KNN中的 K

如线性回归中使用多项式回归

偏差和方差通常是矛盾的。

降低偏差,会提高方差。

降低方差,会提高偏差。

八、模型泛化与岭回归

 

九、LASSO  Regularization

 

 

 

 

十、L1, L2和弹性网络

 

 

我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

猜你喜欢

转载自blog.csdn.net/qq_36107346/article/details/83511523