如何计算麦克尼马尔检验以比较两个机器学习分类器

选择一个 统计假设检验 是解释机器学习结果的一个具有挑战性的开放性问题。

在他的广受引用的 1998 年论文中，Thomas Dietterich 推荐在那些训练多个分类器模型副本成本高昂或不切实际的情况下使用麦克尼马尔检验。

这描述了深度学习模型的当前状况，这些模型体积庞大，在大型数据集上进行训练和评估，通常需要数天甚至数周才能训练好一个模型。

在本教程中，您将了解如何使用麦克尼马尔统计假设检验来比较单个测试数据集上的机器学习分类器模型。

完成本教程后，您将了解：

• 建议对训练成本高昂的模型使用麦克尼马尔检验，这非常适合大型深度学习模型。
• 如何将两个分类器的预测结果转换为列联表，以及该表如何用于计算麦克尼马尔检验的统计量。
• 如何在 Python 中计算麦克尼马尔检验并解释和报告结果。

快速开始您的项目，阅读我的新书《机器学习统计学》，其中包括分步教程以及所有示例的Python源代码文件。

让我们开始吧。

如何计算两个机器学习分类器的麦克尼马尔检验
照片作者：Mark Kao，部分权利保留。

教程概述

本教程分为五个部分；它们是：

1. 深度学习的统计假设检验
2. 列联表
3. 麦克尼马尔检验统计量
4. 解释分类器的麦克尼马尔检验
5. Python 中的麦克尼马尔检验

深度学习的统计假设检验

在他的重要且被广泛引用的 1998 年关于使用统计假设检验来比较分类器的论文“近似统计检验用于比较监督分类学习算法”中，Thomas Dietterich 推荐使用麦克尼马尔检验。

具体来说，该检验建议用于那些被比较的算法只能被评估一次的情况，例如在单个测试集上，而不是通过重采样技术（如 k 折交叉验证）进行重复评估。

对于只能执行一次的算法，麦克尼马尔检验是唯一具有可接受的 I 类错误的检验。

— “近似统计检验用于比较监督分类学习算法”，1998。

具体来说，Dietterich 的研究关注的是对不同统计假设检验的评估，其中一些检验基于重采样方法的结果。该研究关注的是较低的 I 类错误，即统计检验报告了一个实际上不存在的效应（假阳性）。

能够根据单个测试集比较模型的统计检验是现代机器学习，特别是深度学习领域的一个重要考虑因素。

深度学习模型通常很大，并且处理非常大的数据集。这两个因素加在一起可能意味着在快速的现代硬件上训练模型需要数天甚至数周。

这使得重采样方法在比较模型时无法实用，并表明需要使用一种可以在单个测试数据集上评估训练模型结果的检验。

麦克尼马尔检验可能是评估这些大型且训练缓慢的深度学习模型的合适检验。

列联表

麦克尼马尔检验基于一个列联表进行操作。

在我们深入探讨该检验之前，让我们花点时间了解如何计算两个分类器的列联表。

一个 列联表 是对两个分类变量的制表或计数。在麦克尼马尔检验的情况下，我们感兴趣的是二元变量（正确/不正确或是/否）对于对照组和处理组或两种情况。这被称为 2x2 列联表。

列联表乍一看可能不直观。让我们通过一个具体例子来说明。

假设我们有两个训练好的分类器。每个分类器对测试数据集中的 10 个示例中的每个示例进行二元类别预测。对预测进行评估并确定是正确还是不正确。

然后，我们可以像这样将这些结果总结在一个表中：

我们可以看到，分类器 1 正确预测了 6 个，准确率为 60%，分类器 2 在测试集上正确预测了 5 个，准确率为 50%。

现在可以将该表简化为列联表。

列联表依赖于这样一个事实：两个分类器都在完全相同的训练数据上进行训练，并在完全相同的测试数据集实例上进行评估。

列联表具有以下结构：

对于表中的第一个单元格，我们必须计算分类器 1 和分类器 2 都正确预测的测试实例总数。例如，第一个两个分类器都正确预测的实例是第 5 个实例。两个分类器都正确预测的实例总数为 4。

另一种更具程序性的思考方式是总结上面结果表中每个“是/否”的组合。

结果整理成列联表如下：

麦克尼马尔检验统计量

麦克尼马尔检验 是一种配对非参数或无分布假设检验。

它也不如其他一些统计假设检验直观。

麦克尼马尔检验检查两种情况之间的差异是否匹配。技术上，这被称为列联表的同质性（特别是边际同质性）。因此，麦克尼马尔检验是一种列联表的同质性检验。

该检验在医学领域被广泛用于比较治疗与对照的疗效。

在比较两个二元分类算法时，该检验评论的是两种模型是否以相同的方式（或不同方式）产生差异。它不评论一种模型是否比另一种模型更准确或更易出错。当我们查看统计量的计算方式时，这一点就很清楚了。

麦克尼马尔检验统计量计算如下：

其中，是/否 是分类器 1 正确且分类器 2 错误的测试实例数，否/是 是分类器 1 错误且分类器 2 正确的测试实例数。

此检验统计量的计算假设用于计算的列联表中的每个单元格的计数至少为 25。该检验统计量具有具有 1 个自由度的卡方分布。

我们可以看到，列联表中只有两个元素被使用，特别是“是/是”和“否/否”这两个单元格未用于计算检验统计量。因此，我们可以看到该统计量报告的是两种模型之间正确或错误的预测差异，而不是准确率或错误率。在对统计量发现的内容进行声明时，理解这一点很重要。

该检验的默认假设或零假设是两种情况在相同程度上存在差异。如果拒绝零假设，则表明有证据表明这两种情况以不同的方式存在差异，即差异存在偏差。

给定显著性水平的选择，该检验计算出的 p 值可以解释如下：

• p > alpha：未能拒绝 H0，差异无显著性（例如，治疗无效）。
• p <= alpha：拒绝 H0，差异显著（例如，治疗有效）。

解释分类器的麦克尼马尔检验

花点时间清楚地理解如何在两个机器学习分类器模型的背景下解释检验结果很重要。

麦克尼马尔检验统计量计算中使用的两个项捕获了两个模型所犯的错误。具体来说，是列联表中的“否/是”和“是/否”单元格。该检验检查这两个单元格中的计数是否存在显著差异。仅此而已。

如果这些单元格的计数相似，这表明两种模型犯错的比例非常相似，只是针对测试集中的不同实例。在这种情况下，检验结果将不显著，并且不会拒绝零假设。

在零假设下，两种算法应具有相同的错误率……

— “近似统计检验用于比较监督分类学习算法”，1998。

如果这些单元格的计数不相似，这表明两种模型不仅犯了不同的错误，而且实际上在测试集上的错误比例也不同。在这种情况下，检验结果将是显著的，并且我们将拒绝零假设。

因此，我们可能会拒绝零假设，转而支持两种算法在给定训练数据上进行训练时表现不同的假设。

— “近似统计检验用于比较监督分类学习算法”，1998。

我们可以总结如下：

• 未能拒绝零假设：分类器在测试集上的错误比例相似。
• 拒绝零假设：分类器在测试集上的错误比例不同。

在执行检验并发现显著结果后，报告效应统计量以量化发现可能很有用。例如，一个自然的选择了报告优势比，或列联表本身，尽管这两者都需要读者具备专业知识。

报告两个分类器在测试集上的错误差异可能很有用。在这种情况下，请谨慎您的声明，因为显著检验并未报告模型之间的错误差异，仅报告模型之间错误比例的相对差异。

最后，在麦克尼马尔检验的使用上，Dietterich 强调了两个必须考虑的重要局限性。它们是：

1. 训练集或模型变异性的测量不存在。

通常，模型行为会根据用于拟合模型的特定训练数据而变化。

这是由于模型与特定训练实例的交互以及学习过程中随机性的使用。使用重采样方法在多个不同的训练数据集上拟合模型并评估技能，可以测量模型的方差。

如果变异性来源很小，则该检验是适用的。

因此，只有当我们认为这些变异性来源很小时，才应应用麦克尼马尔检验。

— “近似统计检验用于比较监督分类学习算法”，1998。

2. 模型比较不够直接

两种分类器在一个测试集上进行评估，并且测试集预计会比训练集小。

这与使用重采样方法进行假设检验不同，因为在评估过程中，几乎所有数据集（如果不是全部）都可作为测试集（从统计学角度来看，这会带来自身的问题）。

这为比较模型性能提供了更少的机会。它要求测试集充分代表该领域，通常意味着测试数据集很大。

Python 中的麦克尼马尔检验

可以使用 statsmodels 函数 mcnemar() 在 Python 中实现麦克尼马尔检验。

该函数将列联表作为参数，并返回计算出的检验统计量和 p 值。

根据数据的多少，有两种使用统计量的方法。

如果表格中用于计算检验统计量的单元格的计数小于 25，则使用该检验的修改版本，该版本使用二项分布计算精确的 p 值。这是该检验的默认用法。

或者，如果列联表中用于计算检验统计量的所有单元格的值都大于或等于 25，则可以使用标准计算方法。

我们可以计算上面描述的示例列联表的麦克尼马尔检验。此列联表在两个差异单元格中都具有较小的计数，因此必须使用精确方法。

完整的示例如下所示。

运行该示例将计算列联表上的统计量和 p 值，并打印结果。

我们可以看到，该检验强烈证实了两种情况之间的差异非常小。零假设未被拒绝。

由于我们使用该检验来比较分类器，因此我们声明两种模型之间的差异没有统计学上的显著性。

扩展

本节列出了一些您可能希望探索的扩展本教程的想法。

• 查找一篇机器学习研究论文，其中使用了麦克尼马尔统计假设检验。
• 更新代码示例，使列联表显示两种情况之间差异的显著差异。
• 实现一个函数，该函数将根据提供的列联表使用正确版本的麦克尼马尔检验。

如果您探索了这些扩展中的任何一个，我很想知道。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

论文

• 关于相关比例或百分比之间差异的抽样误差的说明, 1947.
• 用于比较监督分类学习算法的近似统计检验, 1998.

API

• statsmodels.stats.contingency_tables.mcnemar() API

文章

• 维基百科上的麦克尼马尔检验
• 维基百科上的 I 类和 II 类错误
• 维基百科上的列联表

总结

在本教程中，您了解了如何使用麦克尼马尔检验统计假设检验来比较单个测试数据集上的机器学习分类器模型。

具体来说，你学到了：

• 建议对训练成本高昂的模型使用麦克尼马尔检验，这非常适合大型深度学习模型。
• 如何将两个分类器的预测结果转换为列联表，以及该表如何用于计算麦克尼马尔检验的统计量。
• 如何在 Python 中计算麦克尼马尔检验并解释和报告结果。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌握机器学习统计学！

培养对统计学的实用理解

...通过在 python 中编写代码

在我的新电子书中探索如何实现
机器学习的统计方法

它提供关于以下主题的自学教程：
假设检验、相关性、非参数统计、重采样，以及更多...

探索如何将数据转化为知识

跳过学术理论。只看结果。

查看内容