如何训练最终的机器学习模型

我们用于对新数据进行预测的机器学习模型称为最终模型。

在应用机器学习中，如何训练最终模型可能会令人困惑。

初学者会提出诸如此类的问题，这表明了这种错误：

• 如何使用交叉验证进行预测？
• 我应该从交叉验证中选择哪个模型？
• 我是否在训练数据集上准备好模型后使用它？

这篇文章将澄清这些困惑。

在这篇文章中，您将了解如何确定您的机器学习模型，以便对新数据进行预测。

让我们开始吧。

如何训练最终的机器学习模型
图片由 Camera Eye Photography 提供，保留部分权利。

什么是最终模型？

最终机器学习模型是您用于对新数据进行预测的模型。

也就是说，给定新的输入数据示例，您希望使用模型来预测预期输出。这可能是一个分类（分配标签）或一个回归（一个实数值）。

例如，照片是狗还是猫的图片，或者明天的销售额估计。

您的机器学习项目的目标是获得一个表现最佳的最终模型，其中“最佳”由以下因素定义：

• 数据：您可用的历史数据。
• 时间：您在项目上花费的时间。
• 程序：数据准备步骤、算法或算法集以及选择的算法配置。

在您的项目中，您收集数据，花费您拥有的时间，并发现数据准备程序、要使用的算法以及如何配置它。

最终模型是这个过程的顶点，是您为了实际开始进行预测而寻求的终点。

训练/测试集的目的

我们为什么使用训练集和测试集？

将数据集拆分为训练集和测试集是快速评估算法在您的问题上性能的一种方法。

训练数据集用于准备模型，即训练模型。

我们假装测试数据集是新数据，其中输出值对算法是隐藏的。我们从训练好的模型中获取测试数据集输入的预测结果，并将其与测试集中隐藏的输出值进行比较。

比较测试数据集上的预测结果和隐藏输出可以让我们计算模型在测试数据集上的性能度量。这是算法在处理未见过数据时，针对问题训练的算法技能的估计。

让我们进一步解释一下

当我们评估一个算法时，我们实际上是在评估程序中的所有步骤，包括训练数据是如何准备的（例如，缩放），算法的选择（例如，kNN），以及所选算法是如何配置的（例如，k=3）。

根据预测结果计算的性能度量是整个程序技能的估计。

我们将性能度量从以下方面进行概括：

• “程序在测试集上的技能”

推广到

• “程序在未见数据上的技能”。

这是一个很大的飞跃，需要满足以下条件：

• 该程序足够稳健，以至于技能估计值与我们在未见数据上实际期望的值接近。
• 性能度量的选择准确地捕捉了我们感兴趣的对未见数据的预测测量。
• 数据准备的选择是众所周知的，可以在新数据上重复，如果预测需要恢复到原始比例或与原始输入值相关联，则可以逆转。
• 算法的选择对其预期用途和操作环境（例如，复杂性或所选编程语言）有意义。

整个程序在测试集上的估计技能承载着很多东西。

事实上，使用训练/测试方法估计程序在未见数据上的技能通常具有很高的方差（除非我们有大量数据可以分割）。这意味着当它重复时，它会给出不同的结果，通常是非常不同的结果。

结果是，我们可能对程序在未见数据上的实际表现以及一个程序与另一个程序相比如何，感到非常不确定。

通常，如果时间允许，我们更喜欢使用 k 折交叉验证。

k 折交叉验证的目的

我们为什么使用 k 折交叉验证？

交叉验证是另一种估计方法在未见数据上技能的方法。就像使用训练-测试分割一样。

交叉验证系统地在数据集的多个子集上创建和评估多个模型。

这反过来又提供了一系列性能度量。

• 我们可以计算这些度量的平均值，以了解该过程的平均表现。
• 我们可以计算这些度量的标准差，以了解该过程的技能在实践中预期会发生多大变化。

当您尝试选择要使用的算法和数据准备程序时，这也有助于提供更细致的比较。

此外，这些信息是无价的，因为您可以使用平均值和传播来给出机器学习程序在实践中预期性能的置信区间。

训练-测试分割和 k 折交叉验证都是重采样方法的例子。

我们为什么使用重采样方法？

应用机器学习的问题在于我们试图模拟未知。

在给定的预测建模问题上，理想的模型是在对新数据进行预测时表现最好的模型。

我们没有新数据，所以我们必须用统计技巧来假装。

训练-测试分割和 k 折交叉验证被称为重采样方法。重采样方法是用于对数据集进行采样并估计未知量的统计程序。

在应用机器学习中，我们感兴趣的是估计机器学习过程在未见数据上的技能。更具体地说，是机器学习过程所做预测的技能。

一旦我们有了估计的技能，我们就完成了重采样方法。

• 如果您正在使用训练-测试分割，这意味着您可以丢弃分割的数据集和训练好的模型。
• 如果您正在使用 k 折交叉验证，这意味着您可以丢弃所有训练好的模型。

它们已经完成了它们的使命，不再需要了。

您现在可以最终确定您的模型了。

如何最终确定模型？

您通过将所选的机器学习程序应用于所有数据来最终确定模型。

就是这样。

有了最终确定的模型，您可以：

• 保存模型以供将来使用或操作使用。
• 对新数据进行预测。

交叉验证模型或训练-测试数据集怎么办？

它们已经被丢弃了。它们不再需要。它们已经完成了它们的使命，帮助您选择一个要最终确定的程序。

常见问题

本节列出了一些您可能遇到的常见问题。

为什么不保留在训练数据集上训练的模型？

和

为什么不保留交叉验证中表现最好的模型？

如果您愿意，可以保留。

通过重用在技能估计期间训练过的模型之一，您可以节省时间和精力。

如果训练一个模型需要几天、几周或几个月，这可能是一个大问题。

您的模型在所有可用数据上进行训练时，可能比仅在用于估计模型性能的子集上进行训练时表现更好。

这就是为什么我们倾向于在所有可用数据上训练最终模型。

在所有数据上训练的模型性能不会不同吗？

我认为这个问题是导致模型最终确定大部分误解的原因。

换句话说：

• 如果你在一个模型上训练所有可用数据，那么你如何知道模型的表现如何？

你已经使用重采样程序回答了这个问题。

如果设计得当，您使用训练-测试或 k 折交叉验证计算的性能指标能够很好地描述在所有可用历史数据上训练的最终模型在一般情况下的表现。

如果您使用了 k 折交叉验证，您将得到一个估计值，说明模型平均会“错误”多少（或反过来说，“正确”多少），以及这种错误或正确的预期范围。

这就是为什么在应用机器学习中，您的测试线束的精心设计如此绝对关键。一个更强大的测试线束将使您能够更依赖于估计的性能。

每次我训练模型时，都会得到不同的性能分数；我应该选择分数最好的模型吗？

机器学习算法是随机的，同一数据上表现不同是意料之中的。

重复训练/测试或重复 k 折交叉验证等重采样方法将有助于掌握该方法的方差有多大。

如果这是一个真正的问题，您可以创建多个最终模型，并从预测集成中取平均值，以减少方差。

我在帖子中更多地谈论了这一点

• 在机器学习中拥抱随机性

总结

在这篇文章中，您了解了如何训练最终的机器学习模型以供实际操作使用。

您已经克服了最终确定模型的障碍，例如：

• 理解重采样程序（如训练-测试分割和 k 折交叉验证）的目标。
• 模型最终确定为在所有可用数据上训练新模型。
• 将性能估计与模型最终确定分开考虑。

您对模型最终确定还有其他未解决的问题或疑虑吗？
在评论中提问，我将尽力提供帮助。