用于比较机器学习算法的统计显著性检验

在应用机器学习中，比较机器学习方法并选择最终模型是一项常见的操作。

模型通常使用像k折交叉验证这样的重采样方法进行评估，从中计算出平均技能分数并直接进行比较。虽然简单，但这种方法可能会产生误导，因为很难知道平均技能分数之间的差异是真实的，还是统计上的偶然结果。

统计显著性检验旨在解决这个问题，并在假设技能分数样本来自同一分布的情况下，量化观察到这些样本的可能性。如果这个假设（即零假设）被拒绝，则表明技能分数的差异在统计上是显著的。

尽管并非万无一失，统计假设检验可以在模型选择过程中提高您对结果解释和呈现的信心。

在本教程中，您将发现为比较机器学习模型选择统计假设检验的重要性和挑战。

完成本教程后，您将了解：

• 统计假设检验可以帮助比较机器学习模型和选择最终模型。
• 不加思考地应用统计假设检验可能会导致误导性结果。
• 正确使用统计检验具有挑战性，目前的一些共识是使用麦克尼马尔检验（McNemar's test）或5x2交叉验证与修正的配对学生t检验。

通过我的新书《机器学习统计学》来启动您的项目，书中包含所有示例的分步教程和Python源代码文件。

让我们开始吧。

• 更新于2018年10月：添加了使用麦克尼马尔检验的示例链接。

用于比较机器学习算法的统计显著性检验
照片由 Fotografías de Javier 拍摄，保留部分权利。

教程概述

本教程分为5个部分，它们是：

1. 模型选择的问题
2. 统计假设检验
3. 选择假设检验的问题
4. 一些研究结果总结
5. 建议

模型选择的问题

应用机器学习的一个重要部分是模型选择。

我们可以用最简单的形式来描述它

在对数据集上的两种机器学习方法进行评估后，您会选择哪种模型？

您会选择技能最好的模型。

也就是说，该模型在对未见数据进行预测时，其估计的技能是最好的。对于分类和回归问题，这可能分别是最大准确率或最小误差。

选择技能最佳模型的挑战在于确定您对每个模型估计的技能有多大的信任度。更普遍地说

两种机器学习模型之间的技能差异是真实的，还是由于统计上的偶然性？

我们可以使用统计假设检验来解决这个问题。

统计假设检验

通常，用于比较样本的统计假设检验量化了在假设两个数据样本具有相同分布的情况下，观察到它们的可能性有多大。

统计检验的假设被称为零假设，我们可以计算统计度量并解释它们，以决定是接受还是拒绝零假设。

在根据估计技能选择模型的情况下，我们想知道两个模型之间是否存在真实或统计上显著的差异。

• 如果检验结果表明没有足够的证据拒绝零假设，那么观察到的模型技能差异很可能是由于统计上的偶然性。
• 如果检验结果表明有足够的证据拒绝零假设，那么观察到的模型技能差异很可能是由于模型本身的不同。

检验结果是概率性的，这意味着，即使正确解释了结果，结果也可能因为I型或II型错误而出错。简而言之，就是假阳性或假阴性的发现。

通过统计显著性检验比较机器学习模型会带来一些期望，这些期望反过来会影响可以使用的统计检验类型；例如

• 技能估计。必须选择一个特定的模型技能度量。这可以是分类准确率（一个比例）或平均绝对误差（一个摘要统计量），这将限制可以使用的检验类型。
• 重复估计。为了计算统计数据，需要一个技能分数的样本。在相同或不同数据上重复训练和测试给定模型会影响可以使用的检验类型。
• 估计值的分布。技能分数估计的样本会有一个分布，可能是高斯分布，也可能不是。这将决定是使用参数检验还是非参数检验。
• 中心趋势。模型技能通常会使用摘要统计量（如平均值或中位数）来描述和比较，具体取决于技能分数的分布。检验可能会也可能不会直接考虑这一点。

统计检验的结果通常是一个检验统计量和一个p值，两者都可以被解释并用于结果的呈现中，以量化模型间差异的置信水平或显著性。与不使用统计假设检验相比，这使得在模型选择时可以提出更有力的主张。

鉴于在模型选择中使用统计假设检验似乎是可取的，那么您如何选择一个适合您特定用例的检验呢？

选择假设检验的问题

让我们看一个评估和比较平衡二元分类问题分类器的常见例子。

通常的做法是使用分类准确率来评估分类方法，使用10折交叉验证来评估每个模型，假设10个模型技能估计的样本服从高斯分布，并使用样本的均值作为模型技能的总结。

我们可以要求每个使用此程序评估的分类器都在完全相同的数据集分割上通过10折交叉验证进行评估。这将得到两个分类器之间匹配的配对度量样本，之所以匹配，是因为每个分类器都在相同的10个测试集上进行了评估。

然后我们可以选择并使用配对学生t检验来检查两个模型平均准确率之间的差异是否具有统计显著性，例如，拒绝假设两个样本具有相同分布的零假设。

事实上，这是一种比较分类器的常用方法，可能有数百篇已发表的论文使用这种方法。

问题是，配对学生t检验的一个关键假设被违反了。

即，每个样本中的观察值不是独立的。在k折交叉验证过程中，一个给定的观察值将在训练数据集中使用(k-1)次。这意味着估计的技能分数是相关的，而不是独立的，这反过来又会导致检验中t统计量的计算会产生误导性的错误，以及对该统计量和p值的任何解释也会出错。

这一观察要求对所使用的重采样方法（此处为k折交叉验证）和所选假设检验的期望（此处为配对学生t检验）都有深入的理解。如果没有这些背景知识，该检验看起来是合适的，会计算出一个结果并进行解释，一切看起来都很好。

不幸的是，在应用机器学习中为模型选择选择一个合适的统计假设检验比最初看起来更具挑战性。幸运的是，越来越多的研究指出了这种天真方法的缺陷，并提出了修正和替代方法。

一些研究结果总结

在本节中，让我们看一些关于在机器学习中为模型选择选择合适的统计显著性检验的研究。

使用麦克尼马尔检验或5x2交叉验证

关于这个主题的开创性工作可能是Thomas Dietterich在1998年发表的论文《用于比较监督分类学习算法的近似统计检验》。

这是关于这个主题的一篇优秀论文，推荐阅读。它首先涵盖了一个很好的框架，用于思考在机器学习项目中可能需要进行统计假设检验的各个节点，讨论了与比较分类器机器学习方法相关的常见统计检验违规的期望，并以方法的实证评估来证实其发现。

本文回顾了五种近似统计检验，用于确定一种学习算法在特定学习任务上是否优于另一种。

该论文中统计假设检验的选择和实证评估的重点是校准I型错误或假阳性。也就是说，选择一个能最小化在不存在显著差异时却指出存在显著差异的情况的检验。

这篇论文中有许多重要的发现。

第一个发现是，永远不应该对通过训练数据集的随机重采样估计的技能结果使用配对学生t检验。

… 我们可以自信地得出结论，重采样t检验永远不应该被使用。

在随机重采样和k折交叉验证的情况下（如上所述），配对t检验的假设被违反了。然而，在k折交叉验证的情况下，t检验会过于乐观，导致较高的I型错误，但只有中等的II型错误。这意味着，在避免II型错误比屈服于I型错误更重要的情况下，可以使用这种组合。

10折交叉验证的t检验具有较高的I型错误率。然而，它也具有较高的功效，因此，在II型错误（未能检测到算法之间的真实差异）更为重要的情况下，可以推荐使用它。

Dietterich建议在数据量有限且每个算法只能评估一次的情况下使用麦克尼马尔统计假设检验。

麦克尼马尔检验类似于卡方检验，在这种情况下，它用于确定算法列联表中观察到的比例差异是否与预期比例有显著不同。这对于训练可能需要数天或数周的大型深度学习神经网络来说是一个有用的发现。

我们的实验使我们推荐 […] 在学习算法只能运行一次的情况下使用麦克尼马尔检验。

Dietterich还推荐了一种他自己设计的重采样方法，称为5x2交叉验证，它涉及5次2折交叉验证的重复。

选择两折是为了确保每个观察值在单个模型技能估计中只出现在训练集或测试集中。在结果上使用配对学生t检验，并进行了更新，以更好地反映由于估计技能分数之间的依赖性而导致的有限自由度。

我们的实验使我们推荐 […] 5x2cv t检验，适用于学习算法足够高效，可以运行十次的情况。

对5x2交叉验证的改进

自从该论文发表以来的20年里，使用麦克尼马尔检验或5x2交叉验证已成为一项主要的建议。

尽管如此，为了更好地修正因重复k折交叉验证违反独立性假设而导致的配对学生t检验，已经做出了进一步的改进。

众多论文中，两篇重要的论文包括

Claude Nadeau和Yoshua Bengio在他们2003年的论文《泛化误差的推断》中提出了进一步的修正。这是一篇内容密集的论文，不建议胆小者阅读。

这项分析使我们能够构建两个方差估计，这两个估计同时考虑了训练集选择和测试样本选择所带来的变异性。其中一个提议的估计量看起来类似于cv方法（Dietterich, 1998），并且专门设计用于高估方差，以产生保守的推断。

Remco Bouckaert和Eibe Frank在他们2004年的论文《评估比较学习算法的显著性检验的可复制性》中采取了不同的视角，认为结果的可复制性比I型或II型错误更重要。

在本文中，我们认为检验的可复制性也同样重要。我们说一个检验的可复制性低，如果它的结果强烈依赖于用于执行它的数据的特定随机分区。

令人惊讶的是，他们建议使用100次随机重采样或10x10折交叉验证，并对配对学生t检验进行Nadeau和Bengio的修正，以实现良好的可复制性。

后一种方法在Ian Witten和Eibe Frank的书中以及他们的开源数据挖掘平台Weka中被推荐，他们将Nadeau和Bengio的修正称为“修正的重采样t检验”。

为了规避这个问题，人们提出了对标准t检验的各种修改，但所有这些都是启发式的，缺乏坚实的理论依据。其中一个在实践中效果很好的方法是修正的重采样t检验。[...] 同样修正的统计量可以用于重复交叉验证，这只是重复留出法的一个特例，即一次交叉验证中的各个测试集不重叠。

— 第159页，第5章，可信度：评估所学知识，《数据挖掘：实用的机器学习工具与技术》，第三版，2011年。

建议

在应用机器学习的模型选择中，选择统计显著性检验时没有万能的解决方案。

让我们看看在您的机器学习项目中可能用来比较分类器的五种方法。

1. 独立数据样本

如果您有近乎无限的数据，可以收集k个独立的训练和测试数据集，为每个方法计算出10个真正独立的技能分数。

然后您可以正确地应用配对学生t检验。这种情况极不可能发生，因为我们通常处理的是小数据样本。

… 假设有几乎无限的数据，因此可以使用几个大小合适的独立数据集。实际上，通常只有一个大小有限的数据集。那该怎么办呢？

— 第158页，第5章，可信度：评估所学知识，《数据挖掘：实用的机器学习工具与技术》，第三版，2011年。

2. 接受10折交叉验证的问题

可以使用未经修改的配对学生t检验进行朴素的10折交叉验证。

相对于其他方法，它具有良好的可重复性和中等的II型错误，但已知具有较高的I型错误。

实验结果也提示，在解释10折交叉验证t检验的结果时应保持谨慎。该检验的I型错误概率偏高（高达目标水平的两倍），尽管这远没有重采样t检验的问题严重。

— 用于比较监督分类学习算法的近似统计检验，1998年。

这是一个选项，但非常不推荐。

3. 使用麦克尼马尔检验或5x2交叉验证

对于单次运行的分类准确率结果，使用麦克尼马尔检验，以及在一般情况下使用5x2折交叉验证和修正的配对学生t检验，这两项长达二十年的建议依然有效。

此外，根据Weka开发者的推荐，Nadeau和Bengio对检验统计量的进一步修正可以与5x2折交叉验证或10x10折交叉验证一起使用。

使用修正t统计量的一个挑战是，没有现成的实现（例如，在SciPy中），这需要使用第三方代码，并承担由此带来的风险。您可能需要自己实现它。

Gitte Vanwinckelen和Hendrik Blockeel在他们2012年的论文《关于用重复交叉验证估计模型准确度》中很好地说明了所选统计方法的可用性和复杂性是一个重要的考虑因素。

虽然这些方法经过精心设计，并且在多个方面显示出对先前方法的改进，但它们也面临着与先前方法相同的风险，即方法越复杂，研究人员错误使用它或错误解释结果的风险就越高。

我在这里有一个使用麦克尼马尔检验的例子

• 如何计算麦克尼马尔检验以比较两个机器学习分类器

4. 使用非参数配对检验

我们可以使用非参数检验，它作出的假设较少，例如不假设技能分数的分布是高斯分布。

一个例子是威尔科克森符号秩检验，它是配对学生t检验的非参数版本。这个检验的统计功效比配对t检验低，但在t检验的期望（如独立性）被违反时，其功效更高。

Janez Demsar在他2006年的论文《在多个数据集上对分类器进行统计比较》中，推荐使用这种统计假设检验来比较不同数据集上的算法。

因此，我们建议使用威尔科克森检验，除非t检验的假设得到满足，这可能是因为我们有很多数据集，或者因为我们有理由相信跨数据集的性能度量是正态分布的。

尽管该检验是非参数的，但它仍然假设每个样本内的观察值是独立的（例如，独立同分布），而使用k折交叉验证会产生依赖的样本，从而违反了这一假设。

5. 改用估计统计学

除了统计假设检验，还可以计算估计统计量，例如置信区间。鉴于模型评估所使用的重采样方法违反了独立性假设，这些方法也会遇到类似的问题。

Tom Mitchell在他1997年的书中提出了类似的建议，建议将统计假设检验的结果视为启发式估计，并寻求模型技能估计的置信区间。

总而言之，没有单一的程序可以在有限数据的基础上比较学习方法，并满足我们想要的所有约束。明智的做法是牢记，当可用数据有限时，统计模型很少能完美地适应测试学习算法的实际限制。尽管如此，它们确实提供了近似的置信区间，这在解释学习方法的实验比较时非常有帮助。

— 第150页，第5章，评估假设，《机器学习》，1997年。

像自助法（bootstrap）这样的统计方法可以用来计算可靠的非参数置信区间，这些置信区间既可以用来呈现结果，也可以用来比较分类器。这是一个简单而有效的方法，你可以随时依赖它，而且我通常也推荐它。

事实上，置信区间是自助法领域中理论研究最多的主题。

— 第321页，《自助法导论》，1994年。

扩展

本节列出了一些您可能希望探索的扩展本教程的想法。

• 查找并列出三篇错误使用未修正的配对学生t检验来比较和选择机器学习模型的研究论文。
• 总结Thomas Dietterich 1998年论文中提出的在机器学习项目中使用统计假设检验的框架。
• 查找并列出三篇正确使用麦克尼马尔检验或5x2交叉验证来比较和选择机器学习模型的研究论文。

如果您探索了这些扩展中的任何一个，我很想知道。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

论文

• 用于比较监督分类学习算法的近似统计检验, 1998.
• 泛化误差的推断, 2003.
• 评估比较学习算法的显著性检验的可复制性, 2004.
• 关于用重复交叉验证估计模型准确度, 2012.
• 跨多个数据集的分类器统计比较, 2006.

书籍

• 第5章，评估假设，《机器学习》，1997年。
• 第5章，可信度：评估所学知识，《数据挖掘：实用的机器学习工具与技术》，第三版，2011年。
• Bootstrap 导论, 1994.

文章

• 维基百科上的学生t检验
• 维基百科上的交叉验证（统计学）
• 维基百科上的麦克尼马尔检验
• 维基百科上的Wilcoxon符号秩检验

讨论

• 对于模型选择/比较，我应该使用哪种检验？
• 如何进行假设检验以比较不同的分类器
• 威尔科克森秩和检验方法论
• 在小样本中如何在t检验和非参数检验（如威尔科克森检验）之间选择

总结

在本教程中，您了解了为比较机器学习模型选择统计假设检验的重要性和挑战。

具体来说，你学到了：

• 统计假设检验可以帮助比较机器学习模型和选择最终模型。
• 不加思考地应用统计假设检验可能会导致误导性结果。
• 正确使用统计检验具有挑战性，目前的一些共识是使用麦克尼马尔检验（McNemar's test）或5x2交叉验证与修正的配对学生t检验。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌握机器学习统计学！

培养对统计学的实用理解

...通过在 python 中编写代码

在我的新电子书中探索如何实现
机器学习的统计方法

它提供关于以下主题的自学教程：
假设检验、相关性、非参数统计、重采样，以及更多...

探索如何将数据转化为知识

跳过学术理论。只看结果。

查看内容