如何用置信区间报告分类器性能

在为分类问题选择机器学习算法后，您需要向利益相关者报告模型的性能。

这很重要，因为这样您可以为模型在新数据上的表现设定预期。

一个常见的错误是仅报告模型的分类准确率。

在本文中，您将学习如何计算模型性能的置信区间，从而为模型的技能提供经过校准且可靠的指示。

通过我的新书《机器学习统计学》启动您的项目，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

如何用置信区间报告分类器性能
照片由 Andrew 拍摄，保留部分权利。

分类准确率

分类机器学习算法的技能通常以分类准确率来报告。

这是所有预测中正确预测的百分比。计算方法如下：

分类器的准确率可能是 60% 或 90%，其好坏程度仅在问题域的上下文中才有意义。

分类错误

在与利益相关者谈论模型时，谈论分类错误或直接说错误可能更相关。

这是因为利益相关者假设模型表现良好，他们可能真正想知道模型容易犯错的程度。

您可以将分类错误计算为错误预测数占总预测数的百分比，表示为 0 到 1 之间的值。

分类器的错误可能是 0.25 或 0.02。

此值也可以通过乘以 100 转换为百分比。例如，0.02 将变为 (0.02 * 100.0) 或 2% 的分类错误。

验证数据集

您使用什么数据集来计算模型技能？

最好将验证数据集从建模过程中分离出来。

这意味着从可用数据中随机选择并移除一部分数据样本，以便在模型选择或配置期间不使用它。

在训练数据上准备好最终模型后，可以使用它在验证数据集上进行预测。这些预测用于计算分类准确率或分类错误。

置信区间

与其仅呈现一个误差分数，不如计算置信区间并将其作为模型技能的一部分进行呈现。

置信区间包含两部分：

• 范围。这是模型技能的下限和上限。
• 概率。这是模型技能落在该范围内的概率。

总的来说，分类误差的置信区间可以按以下方式计算：

其中误差是分类误差，常数是定义所选概率的常数值，sqrt 是平方根函数，n 是用于评估模型的观测数（行数）。从技术上讲，这称为威尔逊得分区间。

常数值来自统计学，常用的值是：

• 1.64 (90%)
• 1.96 (95%)
• 2.33 (98%)
• 2.58 (99%)

使用这些置信区间会做出一些假设，您需要确保您能满足这些假设。它们是：

• 验证数据集中的观测值是从该域独立抽取的（例如，它们是独立同分布的）。
• 至少使用了 30 个观测值来评估模型。

这是基于一些抽样理论的统计学原理，该原理将分类器的误差视为二项分布，我们有足够的观测值来近似二项分布的正态分布，并且根据中心极限定理，我们分类的观测值越多，就越接近真实但未知的模型技能。

置信区间示例

考虑一个在包含 50 个样本的验证数据集（n = 50）上误差为 0.02（误差 = 0.02）的模型。

我们可以计算 95% 置信区间（常数 = 1.96），如下所示：

或者，换句话说：

模型在看不见的数据上的真实分类误差有 95% 的可能性会落在置信区间 [0.0, 0.0588] 内。

请注意，分类误差的置信区间必须截断为 0.0 和 1.0。不可能出现负误差（例如小于 0.0）或大于 1.0 的误差。

进一步阅读

• 第五章，机器学习，1997
• 维基百科上的二项比例置信区间
• 维基百科上的置信区间 

总结

在本文中，您了解了如何为分类器计算置信区间。

具体来说，你学到了：

• 在报告结果时，如何计算分类准确率和分类错误。
• 在计算要报告的模型技能时使用什么数据集。
• 如何为选定的似然水平计算分类误差的下限和上限。

您对分类器置信区间有任何疑问吗？
请在下面的评论中提出您的问题。

掌握机器学习统计学！

培养对统计学的实用理解

...通过在 python 中编写代码

在我的新电子书中探索如何实现
机器学习的统计方法

它提供关于以下主题的自学教程：
假设检验、相关性、非参数统计、重采样，以及更多...

探索如何将数据转化为知识

跳过学术理论。只看结果。

查看内容