偏差-方差权衡：可视化解析

偏差-方差权衡：可视化解析
图片由 Editor | ChatGPT 提供

引言

您构建了一个在训练数据上表现完美但在新示例上却失败的机器学习模型。或者，您的模型在训练时总是犯同一类错误，无论如何调整。听起来是不是很熟悉？理解偏差-方差权衡可以帮助解释机器学习模型的一些行为。

在本文中，您将确切地了解偏差和方差的含义，如何在模型中发现它们，以及更重要的是，如何修复它们。让我们开始吧。

理解偏差和方差

想象一下您正在训练一个模型来预测房价。您收集数据，构建模型，然后对其进行测试。但大多数人没有意识到的是：模型的误差来自三个来源，理解这些来源是构建更好模型的关键。

偏差是系统性误差。如果您的模型总是预测的房价比实际房价低 50,000 美元，无论实际房价如何，那就是偏差。您的模型学习了错误的模式，或者过于简单，无法捕捉数据中的真实关系。

方差是不一致性。如果您在略有不同的数据集上训练相同的模型，并且对同一所房子得到截然不同的预测——有时是 30 万美元，有时是 60 万美元——那就是方差。您的模型对训练数据中的微小变化非常敏感。

不可约误差是任何模型都无法消除的随机误差。房价的某些波动来自于您永远无法测量或预测的因素。

每个模型的预测误差都分解为这三个组成部分

总误差 = 偏差² + 方差 + 不可约误差

这个方程解释了要最小化误差，我们需要最小化偏差和方差。但这里的关键是：它们通常是此消彼长的。减少一个，另一个通常会增加。这就是偏差-方差权衡。

理解四种偏差-方差组合

每个机器学习模型根据其偏差和方差水平，都属于以下四类之一。现在，让我们用一个简单的飞镖盘类比来理解偏差和方差都可以是低或高的四种不同可能性。

高偏差，低方差（欠拟合）

想象一个人总是把飞镖扔在同一个地方，但那个地方离靶心很远。每次投掷都落在相似的区域，只是不在目标位置。

高偏差 低方差
作者 | diagrams.net (draw.io) 图像

在机器学习中，这就像一个模型始终欠拟合您的数据。假设您尝试用一条直线去拟合呈球状分布的数据。无论您训练模型多少次，它都会犯同样的错误，因为它太简单了，无法捕捉真实的模式。

表现：您的模型会犯持续的、可预测的错误。训练准确率很差，但如果您多次重新训练模型，每次都会得到相似（糟糕）的结果。

发生原因：您使用的是对于数据来说过于简单的模型。常见原因包括对明显非线性关系使用线性回归、特征太少或过度正则化您的模型。

示例：仅使用平方英尺和线性回归来预测房价，而实际关系明显是非线性的。您的模型将持续低估大房子的价格，高估小房子的价格。

如何识别：训练误差高（高于可接受阈值）。验证误差也很高，并且非常接近训练误差。学习曲线显示训练和验证误差都在高位停滞不前。

低偏差，高方差（过拟合）

现在想象一个人，他的飞镖平均打在靶心附近。但每一次投掷都天差地别。一次投中靶心，下一次就完全偏离靶心。

低偏差 高方差
作者 | diagrams.net (draw.io) 图像

这发生在您的模型足够复杂以学习潜在模式，但对训练数据中的微小变化极为敏感时。它会过拟合，记住噪声而不是学习真实的信号。

表现：您的模型在训练数据上表现出色，但在新数据上表现不佳。在相同数据集的不同样本上重新训练会产生非常不同的模型，预测也大相径庭。

发生原因：您的模型对于拥有的训练数据量来说过于复杂。它记住了噪声而不是学习可泛化的模式。常见的有小型数据集上的深度神经网络或未剪枝的决策树。

示例：一个拥有 1000 个参数的神经网络，在 100 个房价示例上进行训练（对此您不需要神经网络！）。它完美地记住了训练数据，但由于学习了无意义的噪声模式，在新的房子上表现完全失败。

如何识别：训练误差非常低，但验证误差高得多。训练和验证性能之间存在巨大差距。学习曲线显示训练误差持续下降，而验证误差增加或保持高位。

高偏差，高方差（最糟糕的情况）

这就好比一个人不仅无法准确瞄准，而且在哪里偏离目标也不一致。他的投掷散乱且系统性地偏离目标。

高偏差 高方差
作者 | diagrams.net (draw.io) 图像

在机器学习中，这种不幸的组合通常发生在您拥有根本上有缺陷的模型架构或方法时。模型既过于简单而无法捕捉模式，又在其预测中不稳定。

表现：您的模型在训练数据上表现不佳，并且在不同的训练运行中也不一致。这是最糟糕的场景。

发生原因：您的方法存在根本性问题。算法不适用于问题、严重的实现错误或完全不合适的特征工程。

示例：使用基于温度数据训练的模型来预测数值房价或类似的东西。

如何识别：训练和验证误差都高。即使在相同数据上，模型性能在不同训练运行之间也存在显著差异。存在根本性问题。

低偏差，低方差（目标）

这就是我们的目标。想象一个人，他的飞镖总是紧密地聚集在靶心周围。每一次投掷都接近目标，而且所有投掷都彼此接近。

低偏差 低方差
作者 | diagrams.net (draw.io) 图像

这就是我们在机器学习中的目标：一个捕捉真实潜在模式而不对训练数据中的变化过于敏感的模型。

表现：您的模型在训练数据上表现良好，并在新数据上保持该性能。重新训练会产生一致的结果。

发生原因：您的模型捕捉了潜在模式，但也没有记住噪声。

示例：一个经过良好调优的随机森林模型，使用了适当的特征、正确的交叉验证和适量的正则化。

如何识别：训练和验证误差都足够低。训练和验证性能之间差距很小。多次训练运行的结果一致。

总而言之，我们有

偏差-方差象限
作者 | diagrams.net (draw.io) 图像

修复高偏差（欠拟合）

增加模型复杂度

从简单模型转向更复杂的模型。用多项式回归替换线性回归。使用更深层的神经网络。为您的模型添加更多参数。

关键见解：您当前的模型无法代表数据中的真实潜在模式。您需要更强的表达能力。

特征工程

向您的数据集中添加更多相关特征。创建现有特征之间的交互项。应用领域知识来提取模型可以学习的有意义的模式。

有时问题不在于模型复杂度，而是您没有给模型提供学习的正确信息。

降低正则化

如果您正在使用 L1/L2 惩罚或 dropout 等正则化技术，请降低它们的强度。

训练更长时间

对于神经网络等迭代算法，增加训练的 epoch 数量。一些模型需要更多时间才能收敛到最优解。

修复高方差（过拟合）

获取更多训练数据

这通常是最有效的解决方案。更多的数据为您的模型提供了更多的学习示例，并降低了它记住噪声的可能性。

关系是数学上的：方差与训练集大小成正比地减小。数据量加倍，方差大约减半。

添加正则化

引入约束，防止您的模型变得过于复杂。L1 正则化会删除不重要的特征。L2 正则化会减小模型参数的幅度。Dropout 在训练期间会随机忽略神经元。

这些技术迫使您的模型学习更简单、更可泛化的模式。

降低模型复杂度

通过特征选择使用更少的特征。选择更简单的架构。减少可学习参数的数量。

目标是限制您的模型记住噪声的能力，同时保留其学习真实模式的能力。

集成方法

在不同的数据子集上训练多个模型，并将它们的预测组合起来。随机森林会自动执行此操作。Bagging 和 Boosting 是其他集成方法。

集成通过平均来降低方差——单个模型可能会犯不同的错误，但它们的平均值更稳定。

提前停止

对于迭代训练算法，当验证误差开始增加时停止训练，即使训练误差继续下降。这可以防止模型记住训练数据。

实际实现指南

步骤 1：建立基线性能

从您问题最简单的合理模型开始。这为您提供了基准，并有助于确定您需要更多的复杂度还是更少的复杂度。

对于回归：从线性回归开始。对于分类：从逻辑回归开始。

步骤 2：绘制学习曲线

绘制训练集大小与训练和验证误差的图。这可以立即告诉您是否存在偏差或方差问题。

如果曲线尚未收敛且存在差距，则可能存在方差问题。因此，添加更多数据或降低复杂度。

如果曲线收敛到高误差值，则可能存在偏差问题。在这种情况下，您可以尝试增加复杂度。

步骤 3：系统地调整复杂度

如果您识别出高偏差，请系统地增加复杂度。添加特征，使用更灵活的模型，减少正则化。监控验证性能以避免走得太远。

如果您识别出高方差，请系统地降低复杂度。添加更多数据，使用更简单的模型，尝试添加正则化，并尝试使用更好的特征。

步骤 4：交叉验证进行评估

使用 k 折交叉验证来获得对模型性能的稳健估计。交叉验证分数的高方差表明仍存在问题。

步骤 5：迭代和优化

模型开发是迭代的。每一次更改都会影响偏差-方差的平衡。根据学习曲线和验证性能持续监控和调整。

结论

偏差-方差权衡不仅仅是理论知识。它是一个构建更好模型的实际框架。每次调整正则化、更改算法或修改特征时，您都在进行这种权衡。

因此，下次您构建模型时，请问自己

• 我的预测是否在某个方向上一直偏离？（高偏差）
• 我的预测在不同训练运行之间是否存在显著差异？（高方差）
• 我能调整什么来找到正确的平衡？

目标是找到在平均正确率和个体预测一致性之间进行最佳权衡的模型。

通过这种理解，您可以系统地改进任何机器学习模型，并就复杂度、正则化和数据需求做出明智的决定。