机器学习模型选择的简要介绍

有了像scikit-learn和Keras这样易于使用的机器学习库，在给定的预测建模数据集上拟合许多不同的机器学习模型是相当直接的。

因此，应用机器学习所面临的挑战是如何在一系列可用于您问题的不同模型中进行选择。

乍一看，您可能认为模型性能就足够了，但您是否应该考虑其他因素，例如模型训练需要多长时间，或者向项目干系人解释它的难易程度。如果选定的模型必须运行数月或数年，那么他们的担忧就会变得更加紧迫。

另外，您究竟在选择什么：是仅选择用于拟合模型的算法，还是选择整个数据准备和模型拟合的流程？

在本文中，您将了解机器学习模型选择的挑战。

阅读本文后，你将了解：

• 模型选择是为预测建模问题从许多候选模型中选择一个的过程。
• 在进行模型选择时，除了模型性能之外，可能还有许多相互竞争的考虑因素，例如复杂性、可维护性和可用资源。
• 模型选择的两个主要技术类别是概率度量和重采样方法。

让我们开始吧。

机器学习模型选择的简要介绍
照片由Bernard Spragg. NZ拍摄，保留部分权利。

概述

本教程分为三个部分；它们是：

1. 什么是模型选择
2. 模型选择的考虑因素
3. 模型选择技术

什么是模型选择

模型选择是从一组候选机器学习模型中为训练数据集选择一个最终机器学习模型的过程。

模型选择可以应用于不同类型的模型（例如逻辑回归、SVM、KNN 等），也可以应用于配置了不同模型超参数的同一类型模型（例如 SVM 中的不同核）。

当我们拥有各种不同复杂度的模型时（例如，不同多项式次数的线性或逻辑回归模型，或具有不同 K 值的 KNN 分类器），我们应该如何选择正确的模型？

— 第 22 页，《机器学习：概率视角》，2012 年。

例如，我们可能有一个数据集，我们有兴趣为其开发分类或回归预测模型。我们事先不知道哪种模型在该问题上表现最好，因为这是不可知的。因此，我们对问题拟合并评估一系列不同的模型。

模型选择是从模型中选择一个模型作为解决该问题的最终模型的流程。

模型选择不同于模型评估。

例如，我们评估或评价候选模型以选择最佳模型，这就是模型选择。而一旦选择了模型，就可以对其进行评估，以传达它在一般情况下预期的表现如何；这就是模型评估。

评估模型性能的过程称为模型评估，而选择模型合适灵活性水平的过程称为模型选择。

— 第 175 页，《统计学习导论：在 R 中的应用》，2017 年。

模型选择的考虑因素

拟合模型相对直接，尽管在模型之间进行选择是应用机器学习的真正挑战。

首先，我们需要抛弃“最佳”模型的观念。

考虑到数据中的统计噪声、数据样本的不完整性以及每种不同模型的局限性，所有模型都有一定的预测误差。因此，“完美”或“最佳”模型的概念是没有用的。相反，我们必须寻找一个“足够好”的模型。

在选择最终模型时，我们关心什么？

项目干系人可能有特定要求，例如可维护性和有限的模型复杂性。因此，可能更倾向于选择一个技能较低但更简单易懂的模型。

或者，如果模型技能比其他所有方面都更重要，那么无论涉及多少计算复杂性，都将优先考虑模型在样本外数据上表现良好的能力。

因此，“足够好”的模型可能意味着许多事情，并且因您的项目而异，例如

• 符合项目干系人要求和限制的模型。
• 在可用时间和资源的情况下，模型足够有效。
• 与朴素模型相比，模型足够有效。
• 相对于其他测试模型，模型足够有效。
• 相对于行业最佳实践，模型足够有效。

接下来，我们必须考虑选择的是什么。

例如，我们不是选择一个已拟合的模型，因为所有模型都将被丢弃。这是因为一旦我们选择了模型，我们将使用所有可用数据拟合一个新的最终模型，并开始使用它进行预测。

因此，我们是在选择用于在训练数据集上拟合模型的算法吗？

有些算法需要专门的数据准备，以便最好地揭示问题的结构以供学习算法使用。因此，我们必须更进一步，将模型选择视为在模型开发流程之间进行选择的过程。

每个流程都可能接受相同的原始训练数据集，并输出一个可以以相同方式评估的模型，但可能需要不同或重叠的计算步骤，例如

• 数据过滤。
• 数据转换。
• 特征选择。
• 特征工程。
• 等等…

您越深入研究模型选择的挑战，就会发现越多细微之处。

现在我们熟悉了模型选择的一些考虑因素，让我们回顾一些常见的模型选择方法。

模型选择技术

模型选择的最佳方法需要“足够”的数据，这可能几乎是无限的，具体取决于问题的复杂性。

在这种理想情况下，我们会将数据分为训练集、验证集和测试集，然后在训练集上拟合候选模型，在验证集上评估和选择它们，并在测试集上报告最终模型的性能。

如果我们在数据丰富的情况下，最佳方法 [...] 是将数据集随机分为三部分：训练集、验证集和测试集。训练集用于拟合模型；验证集用于估计模型选择的预测误差；测试集用于评估最终选定模型的泛化误差。

— 第 222 页，《统计学习要素：数据挖掘、推理和预测》，2017 年。

鉴于我们很少有足够的数据，或者能够判断什么是足够的，因此在大多数预测建模问题中这都是不切实际的。

然而，在许多应用中，用于训练和测试的数据供应将是有限的，并且为了构建良好的模型，我们希望尽可能多地利用可用数据进行训练。但是，如果验证集很小，它将提供相对嘈杂的预测性能估计。

– 第 32 页，《模式识别与机器学习》，2006 年。

相反，有两种主要的技术可以近似理想的模型选择情况；它们是

• 概率度量：通过样本内误差和复杂性选择模型。
• 重采样方法：通过估计的样本外误差选择模型。

让我们依次仔细看看每一个。

概率度量

概率度量涉及使用模型在训练数据集上的性能和模型的复杂性来分析性地评估候选模型。

众所周知，训练误差是乐观偏差，因此不是选择模型的良好基础。性能可以根据训练误差的乐观程度进行惩罚。这通常通过特定于算法的方法来实现，通常是线性的，它会根据模型的复杂性来惩罚得分。

历史上，人们提出了各种“信息准则”，试图通过添加一个惩罚项来补偿最大似然的偏差，以弥补更复杂模型过拟合的问题。

– 第 33 页，《模式识别与机器学习》，2006 年。

参数较少的模型参数更不复杂，因此更受青睐，因为它平均而言可能泛化得更好。

四个常用的概率模型选择度量包括

• 赤池信息准则 (AIC)。
• 贝叶斯信息准则 (BIC)。
• 最小描述长度 (MDL)。
• 结构风险最小化 (SRM)。

当使用线性回归或逻辑回归等更简单的线性模型时，概率度量是适用的，因为模型复杂性惩罚（例如样本内偏差）的计算是已知的且可处理的。

重采样方法

重采样方法旨在估计模型（或更准确地说，模型开发流程）在样本外数据上的性能。

这是通过将训练数据集划分为子训练集和测试集，在子训练集上拟合模型，并在测试集上进行评估来实现的。然后，此过程可以重复多次，并报告每次试验的平均性能。

它是模型在样本外数据上性能的蒙特卡罗估计的一种，尽管每次试验不完全独立，因为根据所选的重采样方法，相同的数据可能在不同的训练数据集中出现多次，或者出现在测试数据集中。

三种常见的重采样模型选择方法包括

• 随机训练/测试划分。
• 交叉验证（k 折、LOOCV 等）。
• 自助法.

大多数情况下，概率度量（在前一节中描述）是不可用的，因此使用重采样方法。

迄今为止，最受欢迎的是交叉验证系列方法，其中包含许多子类型。

估计预测误差最简单且最广泛使用的方法可能是交叉验证。

— 第 241 页，《统计学习要素：数据挖掘、推理和预测》，2017 年。

一个例子是广泛使用的 k 折交叉验证，它将训练数据集划分为 k 折，其中每个样本仅在测试集中出现一次。

另一个是留一法 (LOOCV)，其中测试集由单个样本组成，每个样本都有机会成为测试集，这需要构建和评估 N（训练集中样本的数量）个模型。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

教程

• 使用 AIC、BIC 和 MDL 进行概率模型选择
• 统计抽样与重抽样入门
• 蒙特卡罗概率抽样方法简明入门
• k折交叉验证入门详解
• 测试集和验证集有什么区别？

书籍

• 应用预测建模, 2013.
• 《统计学习要素：数据挖掘、推理和预测》, 2017.
• 《统计学习导论：R语言应用》(An Introduction to Statistical Learning: with Applications in R), 2017.
• 模式识别与机器学习, 2006.
• 机器学习：概率视角, 2012.

文章

• 模型选择，维基百科.

总结

在本文中，您了解了机器学习模型选择的挑战。

具体来说，你学到了：

• 模型选择是为预测建模问题从许多候选模型中选择一个的过程。
• 在进行模型选择时，除了模型性能之外，可能还有许多相互竞争的考虑因素，例如复杂性、可维护性和可用资源。
• 模型选择的两个主要技术类别是概率度量和重采样方法。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。