【机器学习】WTF是偏差 - 方差权衡吗？

课后无意中听到：“Bias-Variance Tradeoff听起来不像历史纪录片中的条约名称吗？”

好吧，这很公平......但它也是  有监督的机器学习和预测建模理解的最重要的概念之一。

不幸的是，因为它通常是通过密集的数学公式来教授的，所以它赢得了很高的声誉。

但正如你在本指南中看到的那样，它并没有那么糟糕。实际上，Bias-Variance权衡关于模型复杂性，过度拟合和欠拟合具有简单，  实用的含义。

 

 

以下是我们对信息图表的见解。

 

监督学习

Bias-Variance权衡与监督机器学习相关 - 特别是对于预测建模。这是一种通过分解预测误差来诊断算法性能的方法。

在机器学习中，算法只是用于从给定训练数据集训练模型的可重复过程。

• 您有许多算法可供选择，例如线性回归，决策树，神经网络，SVM等。
• 您可以通过现代机器学习算法在实际考察中了解更多相关信息。

正如您可能想象的那样，这些算法中的每一种都表现得非常不同，每种算法都在不同情 其中一个关键的区别是它们产生了多少偏差和差异。

预测误差有3种类型：偏差，方差和不可约误差。

不可减少的错误也称为“噪声”，它不能通过您在算法中的选择来减少。它通常来自固有随机性，错误框架问题或不完整的功能集。

但是，其他两种类型的错误可以减少，因为它们源于您的算法选择。

 

偏见错误

偏差是模型预期预测与真实值之间的差异。

这可能听起来很奇怪，因为你不应该“期望”你的预测接近真实值吗？嗯，这并不总是那么容易，因为有些算法过于严格，无法从数据集中学习复杂的信号。

想象一下，将线性回归拟合到具有非线性模式的数据集：

无论您收集多少观察数据，线性回归都无法对该数据中的曲线进行建模！这被称为  欠配合。

 

方差错误

方差是指您的算法对特定训练数据集的敏感度。

高方差算法将根据训练集产生截然不同的模型。

例如，想象一个算法，它将完全不受约束的超灵活模型拟合到上面的同一数据集：

如您所见，这种不受约束的模型基本上记住了训练集，包括所有噪声。这被称为  过度拟合。

 

偏差 - 方差权衡

如果您认为算法不是作为训练单个模型的一次性方法，而是作为可重复的过程，那么围绕这些概念更容易理解。

我们来做一个思想实验：

1. 想象一下，您已针对同一问题收集了5 种不同的训练集。
2. 现在想象一下使用一种算法来训练5个模型，每个训练集一个。
3. 偏差与方差是指您的算法训练的模型的准确性与一致性。

我们可以按如下方式诊断它们。

低方差（高偏差）算法往往不那么复杂，具有简单或刚性的底层结构。

• 他们训练的模型一致，但平均不准确  。
• 这些包括线性或参数算法，如回归和朴素贝叶斯。

另一方面，低偏差（高方差）算法往往  更复杂，具有灵活的底层结构。

• 他们训练的模型平均准确，但不一致。
• 这些包括非线性或非参数算法，例如决策树和最近邻居。

复杂性的这种  折衷是为什么偏差和方差的折衷 - 算法不能同时更复杂和更简单。

*注意：对于某些问题，某些算法可能比其他算法具有更少的错误。例如，集合方法（即随机森林）在实践中通常比其他算法表现更好。我们的建议是始终为每个问题尝试多种合理的算法。

 

总误差

要建立一个良好的预测模型，您需要在偏差和方差之间找到平衡，以最大限度地减少总误差。

总误差=偏差^ 2 +方差+不可减少的误差

机器学习过程找到最佳平衡：

适当的机器学习工作流程包括：

• 单独的培训和测试集
• 尝试适当的算法（无免费午餐）
• 拟合模型参数
• 调整有影响力的超参数
• 适当的绩效指标
• 系统的交叉验证

最后，正如您可能已经得出的结论，偏差和方差的最佳平衡导致了一个既不过度也不过分的模型：

这是监督机器学习的最终目标 - 在忽略噪声的同时将信号与数据集隔离开来  ！

 

原文：https://elitedatascience.com/bias-variance-tradeoff