不平衡分类评估指标巡览

分类器的好坏取决于用于评估它的指标。

如果您选择错误的指标来评估您的模型，您很可能会选择一个糟糕的模型，或者在最坏的情况下，对您模型的预期性能产生误导。

选择一个合适的指标在应用机器学习中通常具有挑战性，但在不平衡分类问题中尤为困难。首先，因为大多数广泛使用的标准指标都假设类别分布是平衡的；其次，对于不平衡分类问题，通常不是所有类别，因此也不是所有预测错误都同等重要。

在本教程中，您将学习可用于不平衡分类的指标。

完成本教程后，您将了解：

• 关于分类指标选择的挑战，以及在类别分布不均衡时尤其困难。
• 评估分类器模型主要有三种类型的指标，分别称为排名、阈值和概率指标。
• 如果您不知道从何开始，如何为不平衡分类选择一个指标。

通过我的新书《使用Python进行不平衡分类》**启动您的项目**，书中包含*分步教程*和所有示例的*Python源代码*文件。

让我们开始吧。

不平衡分类评估指标巡览
照片由Travis Wise拍摄，保留部分权利。

教程概述

本教程分为三个部分；它们是：

1. 评估指标的挑战
2. 分类器评估指标分类法
3. 如何选择评估指标

评估指标的挑战

评估指标量化了预测模型的性能。

这通常涉及在数据集上训练模型，使用模型对训练期间未使用的保留数据集进行预测，然后将预测与保留数据集中的预期值进行比较。

对于分类问题，指标涉及将预期类别标签与预测类别标签进行比较，或解释问题类别标签的预测概率。

模型选择，甚至数据准备方法，共同构成一个由评估指标引导的搜索问题。通过不同模型进行实验，并用指标量化每个实验的结果。

评估指标在评估分类性能和指导分类器建模方面都起着至关重要的作用。

— 不平衡数据分类：综述, 2009。

有一些广泛用于评估分类预测模型的标准指标，例如分类准确率或分类错误率。

标准指标在大多数问题上表现良好，这也是它们被广泛采用的原因。但所有指标都对问题或问题中的重要性做出了假设。因此，必须选择一个最能捕捉您或您的项目利益相关者认为对模型或预测重要的评估指标，这使得模型评估指标的选择具有挑战性。

当类别分布存在偏差时，这个挑战变得更加困难。原因在于，当类别不平衡或严重不平衡时（例如，少数类别与多数类别之间的比例为1:100或1:1000），许多标准指标会变得不可靠甚至具有误导性。

在类别不平衡的情况下，问题更加严重，因为用于非偏斜数据的默认、相对稳健的程序在数据偏斜时可能会彻底崩溃。

— 第187页，不平衡学习：基础、算法和应用，2013年。

例如，对于一个严重不平衡的分类问题，报告分类准确率可能会产生危险的误导。如果项目利益相关者使用结果得出结论或规划新项目，就会出现这种情况。

事实上，在不平衡领域使用常见指标可能导致次优的分类模型，并可能产生误导性结论，因为这些度量对偏斜领域不敏感。

— 不平衡分布下的预测建模调查，2015 年。

重要的是，在处理不平衡分类时，通常需要不同的评估指标。

与将所有类别视为同等重要的标准评估指标不同，不平衡分类问题通常将少数类别的分类错误视为比多数类别的错误更重要。因此，可能需要侧重于少数类别的性能指标，这带来了挑战，因为少数类别正是我们缺乏有效训练模型所需观测数据的地方。

不平衡数据集的主要问题在于，它们通常与用户偏好偏差相关联，即倾向于对现有数据样本中代表性不足的案例的性能。

— 不平衡分布下的预测建模调查，2015 年。

既然我们已经熟悉了选择模型评估指标的挑战，那么让我们来看一些可供选择的不同指标的例子。

分类器评估指标分类法

在评估分类器模型时，有数十种指标可供选择，如果考虑到学者们提出的所有“宠物版”指标，可能多达数百种。

为了掌握可以从中选择的指标，我们将使用Cesar Ferri等人在其2008年题为“分类性能度量的实验比较”的论文中提出的分类法。该分类法也已在2013年出版的《不平衡学习》一书中采用，我认为它很有用。

我们可以将评估指标分为三个有用的组；它们是：

1. 阈值指标
2. 排名指标
3. 概率指标。

这种划分很有用，因为从业者通常用于分类器，特别是用于不平衡分类的顶级指标，都能很好地融入这个分类法。

一些机器学习研究人员已经确定了在分类背景下使用的三类评估指标。它们是阈值指标（例如，准确率和F-measure）、排名方法和指标（例如，接收者操作特征（ROC）分析和AUC），以及概率指标（例如，均方根误差）。

— 第189页，《不平衡学习：基础、算法和应用》，2013年。

接下来，我们依次详细了解每个组。

不平衡分类的阈值指标

阈值指标是量化分类预测错误的指标。

也就是说，它们旨在总结在保留数据集中预测类别与预期类别不匹配时的比例、比率或频率。

基于阈值和对错误的定性理解的度量 [...] 当我们希望模型最小化错误数量时，使用这些度量。

— 分类性能度量的实验比较, 2008。

也许最广泛使用的阈值指标是分类准确率。

• 准确率 = 正确预测数 / 总预测数

以及分类准确率的补集，称为分类错误率。

• 错误率 = 不正确预测数 / 总预测数

尽管分类准确率被广泛使用，但它几乎普遍不适用于不平衡分类。原因是，一个仅预测多数类别的无技能模型也能达到高准确率（或低错误率）。

有关分类准确率失效的更多信息，请参阅教程

• 分类准确度在不平衡类别分布中的失效

对于不平衡分类问题，多数类别通常被称为负面结果（例如，“*无变化*”或“*阴性检测结果*”），而少数类别通常被称为正面结果（例如，“*变化*”或“*阳性检测结果*”）。

• 多数类别：负面结果，类别0。
• 少数类别：正面结果，类别1。

大多数阈值指标可以通过二元（两类）分类问题的混淆矩阵中的术语来最好地理解。这并不意味着这些指标仅限于二元分类；这只是快速理解测量内容的一种简单方法。

混淆矩阵不仅提供了对预测模型性能的更多洞察，还提供了哪些类别被正确预测、哪些被错误预测以及发生了何种类型错误的洞察。在此类混淆矩阵中，表格中的每个单元格都有一个特定且广为人知的名称，总结如下：

有两组指标可能对不平衡分类有用，因为它们侧重于一个类别；它们是敏感性-特异性和精确率-召回率。

敏感性-特异性指标

敏感性指真阳性率，概括了阳性类别预测得有多好。

• 敏感性 = 真阳性 / (真阳性 + 假阴性)

特异性是敏感性的补集，或称真阴性率，它概括了阴性类别预测得有多好。

• 特异性 = 真阴性 / (假阳性 + 真阴性)

对于不平衡分类，敏感性可能比特异性更有趣。

敏感性和特异性可以结合成一个单一的分数，以平衡这两个方面，称为几何平均或G-Mean。

• G-Mean = sqrt(敏感性 * 特异性)

精确率-召回率指标

精确率总结了被分类为正类别的样本中，实际属于正类别的比例。

• 精确率 = 真阳性 / (真阳性 + 假阳性)

召回率总结了正类别被预测得有多好，其计算与敏感度相同。

• 召回率 = 真阳性 / (真阳性 + 假阴性)

精确率和召回率可以结合成一个单一的分数，旨在平衡这两个方面，称为F-score或F-measure。

• F-Measure = (2 * 精确率 * 召回率) / (精确率 + 召回率)

F-Measure 是不平衡分类中常用的一个指标。

Fbeta-measure 是 F-measure 的一个抽象，其中调和平均计算中精确率和召回率的平衡由一个称为 *beta* 的系数控制。

• Fbeta-Measure = ((1 + beta^2) * 精确率 * 召回率) / (beta^2 * 精确率 + 召回率)

有关不平衡分类中精确率、召回率和F-measure的更多信息，请参阅教程

• 如何计算不平衡分类的精确率、召回率和 F-Measure

额外的阈值指标

这些可能是最受欢迎的指标，尽管还有许多其他指标。举个例子，它们包括 Kappa、宏平均准确率、类加权平均准确率、优化精确率、调整几何平均、平衡准确率等等。

阈值指标易于计算和理解。

这些指标的一个局限性在于，它们假设训练数据集中观察到的类别分布将与测试集和模型用于进行预测时的实际数据中的分布相匹配。这通常是事实，但当情况并非如此时，性能可能会具有误导性。

上一节讨论的所有阈值指标的一个重要缺点是，它们假设完全了解分类器将部署的条件。特别是，它们假设训练集中存在的类别不平衡将是分类器整个运行生命周期中遇到的不平衡。

— 第196页，《不平衡学习：基础、算法和应用》，2013年。

排名指标不作任何类别分布假设。

不平衡分类的排名指标

排名指标更关注根据分类器在分离类别方面的有效性来评估它们。

基于模型对样本排序效果的指标 [...] 这些对于许多应用很重要 [...] 在这些应用中，分类器用于从一组数据中选择最佳的n个实例，或者类别分离至关重要。

— 分类性能度量的实验比较, 2008。

这些指标要求分类器预测一个分数或类别成员资格的概率。

根据此分数，可以应用不同的阈值来测试分类器的有效性。在不同阈值范围内保持良好分数的模型将具有良好的类别分离，并被排名更高。

……考虑一个分类器，它为实例在正类别中分类提供一个数值分数。因此，分数引入了细粒度而不是简单的正或负预测。

——第53页，《从不平衡数据集中学习》，2018年。

最常用的排名指标是ROC曲线或ROC分析。

ROC是“接收者操作特征”的缩写，概括了一个研究领域，用于根据二元分类器区分类别的能力来分析它们。

ROC曲线是一种诊断图，通过计算模型在不同阈值下对一组预测的假阳性率和真阳性率，来总结模型的行为。

真阳性率是召回率或敏感性。

• 真阳性率 = 真阳性 / (真阳性 + 假阴性)

假阳性率的计算方法是：

• 假阳性率 = 假阳性 / (假阳性 + 真阴性)

每个阈值都是图上的一个点，这些点连接起来形成一条曲线。一个没有技能的分类器（例如，在所有阈值下都预测多数类别）将由从左下角到右上角的对角线表示。

低于这条线的任何点都比没有技能还要差。一个完美的模型将是图左上角的一个点。

ROC曲线的描述

ROC曲线是诊断单一模型的有用工具。

可以计算ROC曲线下的面积，它提供一个单一分数来总结该图，可用于比较模型。

无技能分类器的分数为0.5，而完美分类器的分数为1.0。

• ROC AUC = ROC曲线下面积

尽管通常有效，但在类别严重不平衡的情况下，特别是当少数类别的样本数量很少时，ROC曲线和ROC AUC可能会过于乐观。

ROC曲线的替代方案是精确率-召回率曲线，它可以用类似的方式使用，但侧重于分类器在少数类别上的性能。

同样，对模型的一组预测使用不同的阈值，并在这种情况下计算精确率和召回率。这些点形成一条曲线，在不同阈值范围内表现更好的分类器将获得更高的排名。

一个无技能的分类器在图上将是一条水平线，其精确度与数据集中正样本的数量成正比。对于平衡数据集，这将是0.5。一个完美的分类器由右上角的一个点表示。

精确率-召回率曲线的描述

与ROC曲线类似，精确率-召回率曲线是评估单个分类器的有用诊断工具，但对于比较分类器来说具有挑战性。

与ROC AUC一样，我们可以计算曲线下面积作为分数，并使用该分数来比较分类器。在这种情况下，对少数类别的关注使得精确率-召回率AUC对于不平衡分类问题更有用。

• PR AUC = 精确率-召回率曲线下面积

还有其他不太广泛使用的排名指标，例如针对不平衡分类的ROC曲线修改和成本曲线。

有关不平衡分类的ROC曲线和精确率-召回率曲线的更多信息，请参阅教程

• 不平衡分类的ROC曲线和精确率-召回率曲线

不平衡分类的概率指标

概率指标专门设计用于量化分类器预测中的不确定性。

这些对于我们对错误与正确类别预测不那么感兴趣，而更关注模型预测中的不确定性，并惩罚那些错误但高度自信的预测的问题很有用。

基于对错误的概率理解的指标，即测量与真实概率的偏差 [...] 这些指标在我们需要评估分类器可靠性时特别有用，不仅衡量它们何时失败，还衡量它们是以高概率还是低概率选择了错误的类别。

— 分类性能度量的实验比较, 2008。

基于预测概率评估模型要求概率是经过校准的。

一些分类器使用概率框架进行训练，例如最大似然估计，这意味着它们的概率已经过校准。例如逻辑回归。

许多非线性分类器不是在概率框架下训练的，因此需要先对其概率进行数据集校准，然后才能通过概率指标进行评估。例如支持向量机和k近邻。

也许最常用的评估预测概率的指标是二元分类的对数损失（或负对数似然），更普遍地称为交叉熵。

对于一个二元分类数据集，其中预期值为y，预测值为yhat，可以按如下方式计算：

• 对数损失 = -((1 – y) * log(1 – yhat) + y * log(yhat))

该分数可以通过简单地添加项来推广到多个类别；例如：

• 对数损失 = -( 对所有类别 c 求和 y_c * log(yhat_c))

该分数总结了两个概率分布之间的平均差异。一个完美的分类器对数损失为0.0，较差的值为正，直至无穷大。

另一个流行的预测概率得分是Brier分数。

Brier 分数的优点在于它专注于正类别，这对于不平衡分类来说是少数类别。这使其比专注于整个概率分布的对数损失更受青睐。

Brier分数被计算为正类别的预期概率（例如1.0）与预测概率之间的均方误差。回想一下，均方误差是值之间平方差的平均值。

• Brier分数 = 1/N * 对 i 从 1 到 N 求和 (yhat_i – y_i)^2

一个完美的分类器拥有0.0的Brier分数。虽然通常用于二元分类任务，但Brier分数也可以用于多类别分类问题。

不同分类器的Brier分数差异可能非常小。为了解决这个问题，该分数可以根据参考分数进行缩放，例如来自无技能分类器的分数（例如预测训练数据集中正类别的概率分布）。

使用参考分数，可以计算Brier技能分数（BSS），其中0.0表示无技能，低于无技能的结果为负数，完美技能用1.0表示。

• Brier技能分数 = 1 – (Brier分数 / Brier分数_参考)

尽管概率评分方法在平衡分类问题中很受欢迎，但在类别分布偏斜的分类问题中，它们的使用并不广泛。

有关不平衡分类概率指标的更多信息，请参阅教程

• 不平衡分类概率指标简介

如何选择评估指标

有大量的模型评估指标可供选择。

既然选择一个评估指标如此重要，并且有数十甚至数百个指标可供选择，您该怎么办？

对学习模型进行正确评估是模式识别中最重要的问题之一。

— 分类性能度量的实验比较, 2008。

也许最好的方法是与项目利益相关者沟通，弄清楚模型或一组预测中什么是最重要的。然后选择几个似乎能捕捉到重要内容的指标，再在不同的场景下测试这些指标。

一个场景可能是针对具有偏斜类别分布的测试数据集的一组模拟预测，该分布与您的项目领域相符。您可以测试当模型预测所有多数类别、所有少数类别、表现良好、表现不佳等等情况时，指标会发生什么变化。一些小的测试可以迅速帮助您了解指标可能如何表现。

另一种方法可能是进行文献综述，了解其他从事相同类型问题的从业者或学者最常用哪些指标。这通常很有启发性，但请注意，某些研究领域可能会陷入群体思维，并采纳一种可能非常适合大规模比较大量模型，但在实际模型选择中却很糟糕的指标。

还是没想法？

这里有一些初步建议

• 您是否在预测概率？
  • 您需要类别标签吗？
    • 正类别更重要吗？
      • 使用精确率-召回率AUC
    • 两个类别都重要吗？
      • 使用ROC AUC
  • 您需要概率吗？
    • 使用Brier分数和Brier技能分数
• 您是否在预测类别标签？
  • 正类别更重要吗？
    • 假阴性和假阳性同样重要吗？
      • 使用F1-Measure
    • 假阴性更重要吗？
      • 使用F2-Measure
    • 假阳性更重要吗？
      • 使用F0.5-Measure
  • 两个类别都重要吗？
    • 您的多数类别样本是否少于80%-90%？ 
      • 使用准确率
    • 您的多数类别样本是否多于80%-90%？ 
      • 使用G-Mean

这些建议考虑了我们可能使用预测概率但需要清晰类别标签模型的重要情况。这是一类重要的问题，它允许操作员或实现者选择阈值来权衡分类错误。在这种情况下，需要考虑所有合理阈值的错误指标，因此使用了曲线下面积指标。

我们可以将这些建议转化为一个有用的模板。

如何为不平衡分类选择指标

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

论文

• 分类性能度量的实验比较, 2008.
• 不平衡数据分类：综述, 2009.
• 不平衡分布下预测建模的调查, 2015.

书籍

• 第8章 不平衡学习评估指标，不平衡学习：基础、算法和应用，2013年。
• 第三章 性能指标，从不平衡数据集中学习, 2018.

文章

• 精确率和召回率，维基百科.
• 敏感性和特异性，维基百科.
• 接收者操作特征，维基百科.
• 交叉熵，维基百科.
• 布里尔分数，维基百科.

总结

在本教程中，您学习了可用于不平衡分类的指标。

具体来说，你学到了：

• 关于分类指标选择的挑战，以及在类别分布不均衡时尤其困难。
• 评估分类器模型主要有三种类型的指标，分别称为排名、阈值和概率指标。
• 如果您不知道从何开始，如何为不平衡分类选择一个指标。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌控不平衡分类！

在几分钟内开发不平衡学习模型

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 处理不平衡分类问题

它提供了关于以下内容的自学教程和端到端项目：
性能指标、欠采样方法、SMOTE、阈值移动、概率校准、成本敏感算法
以及更多...

将不平衡分类方法引入您的机器学习项目

查看内容