机器学习的过拟合和欠拟合

机器学习中的监督学习是拟合函数\(f\),使得对数据进行建模
\[ Y=f(X)+\epsilon \]
通常,我们只能建模去逼近函数\(f\), 即\(\hat{f}\),所以预测得到\(\hat{Y}\)
\[ \hat{Y} = \hat{f}(X)+\epsilon \]
\(\epsilon\) 是训练集本身固有的误差,数据噪声,是不可减小,且在实际应用中是未知的
训练的目的是减少 \(f\)\(\hat{f}\) 之间的误差,此误差可减小的,但我们没法直接衡量此误差,只能通过 \(Y\)\(\hat{Y}\) 的误差来训练

所以,在减小 \(f\)\(\hat{f}\) 时,我们可能训练得到的模型 \(\hat{f}\) 对训练集本身固有的误差 \(\epsilon\) 进行减少,
此时产生了训练过程的过拟合,而欠拟合则是在不减少本身固有的误差小,所建模型 \(\hat{f}\) 不足以逼近实际模型 \(f\)
或者说过拟合和欠拟合主要看哪个误差起到了决定性作用,即 \(f\)\(\hat{f}\) 的误差与误差 \(\epsilon\) 对模型结果的误差起决定性作用
前面的误差太大导致欠拟合,后面的误差太小导致过拟合

猜你喜欢

转载自www.cnblogs.com/xiecl/p/10367395.html