应对机器学习数据集中类别不平衡问题的 8 种策略

你是否遇到过这种情况？

你在处理你的数据集。你创建了一个分类模型，并立即获得了90%的准确率。你心想，“太棒了”。你再深入研究一下，发现90%的数据都属于同一个类别。该死！

这是一个不平衡数据集的例子，以及它可能导致的令人沮丧的结果。

在这篇文章中，你将发现可以用来在类别不平衡的机器学习数据集上取得良好结果的策略。

用我的新书《用 Python 进行不平衡分类》**快速启动你的项目**，书中包含**分步教程**以及所有示例的 **Python 源代码**文件。

让我们开始吧。

为你的机器学习找到一些平衡。
照片由 MichaEli 拍摄，保留部分权利。

应对不平衡数据

我经常收到关于类别不平衡的邮件，例如：

我有一个二元分类问题，在我的训练集中，一个类别的比例是 60:1。我使用了逻辑回归，结果似乎完全忽略了其中一个类别。

还有这个。

我正在开发一个分类模型。在我的数据集中，有三个不同的标签需要分类，姑且称它们为 A、B 和 C。但在训练数据集中，A 类占 70% 的数据量，B 类占 25%，C 类占 5%。大多数时候，我的结果都对 A 类过拟合。您能建议我如何解决这个问题吗？

我写下了一长串可以尝试的技巧，并思考克服这个问题的最佳方法。我最终采纳了一位学生的建议：

也许您接下来的博客文章可以探讨一下训练模型来处理高度不平衡数据的问题，并概述一些技巧和预期结果。

沮丧！

不平衡数据会让你非常沮丧。

当你发现你的数据存在类别不平衡，而且你以为自己取得的所有出色结果都只是假象时，你会感到非常沮丧。

当书籍、文章和博客文章似乎没有给你关于处理数据不平衡的好的建议时，下一波沮丧感袭来。

放轻松，有很多选择，我们将逐一探讨。这是可能的，你可以为不平衡数据构建预测模型。

什么是不平衡数据？

不平衡数据通常指的是分类问题中各类别的样本数量不均等的问题。

例如，你可能有一个2类（二元）分类问题，其中有100个实例（行）。总共有80个实例被标记为类别1，剩下的20个实例被标记为类别2。

这是一个不平衡的数据集，类别1与类别2实例的比例是80:20，或者更简洁地说是4:1。

类别不平衡问题不仅会出现在二分类问题中，也会出现在多分类问题中。大多数技术可以用于这两种情况。

接下来的讨论将假设是二分类问题，因为这样更容易思考和描述。

不平衡现象很普遍

大多数分类数据集的每个类别中的实例数量并非完全相等，但微小的差异通常无关紧要。

有些问题中，类别不平衡不仅常见，而且是意料之中的。例如，在描述欺诈交易的数据集中，类别就是不平衡的。绝大多数交易属于“非欺诈”类别，而极少数属于“欺诈”类别。

另一个例子是客户流失数据集，其中绝大多数客户会继续使用服务（“未流失”类别），而只有少数客户会取消订阅（“流失”类别）。

当存在中等程度的类别不平衡时，比如上面例子中的4:1，就可能引发问题。

准确率悖论

本文开头提到的情况，正是所谓的准确率悖论。

这种情况是，你的准确率指标告诉你，你获得了极高的准确率（比如90%），但这个准确率仅仅反映了潜在的类别分布情况。

这种情况非常常见，因为分类准确率通常是我们在评估分类问题模型时使用的第一个指标。

把宝全押在红色上！

当我们在不平衡数据集上训练模型时，模型内部发生了什么？

你可能已经猜到了，我们在一个不平衡数据（其中90%的实例属于类别1）上获得90%准确率的原因是，我们的模型观察数据后，聪明地决定最好的做法是总是预测“类别1”，从而实现高准确率。

在使用简单的基于规则的算法时，这一点最为明显。如果你打印出最终模型中的规则，你会发现它很可能无论被要求预测什么数据，都只预测一个类别。

应对不平衡训练数据的 8 种策略

我们现在明白了什么是类别不平衡，以及为什么它会提供误导性的分类准确率。

那么我们有什么选择呢？

1) 你能收集更多数据吗？

你可能觉得这很傻，但收集更多数据几乎总是被忽视。

你能收集更多数据吗？花点时间想一想，你是否能够为你的问题收集更多数据。

一个更大的数据集可能会揭示出对这些类别不同且可能更均衡的视角。

当我们后面讨论重采样数据集时，更多少数类别的例子可能会很有用。

2) 尝试改变你的性能指标

处理不平衡数据集时，准确率不是一个好的度量标准。我们已经看到它具有误导性。

有一些指标被设计用来在处理不平衡类别时，更真实地反映情况。

在我的文章“分类准确率还不够：你可以使用的更多性能指标”中，我给出了更多关于选择不同性能指标的建议。

在那篇文章中，我研究了一个描述乳腺癌患者复发情况的不平衡数据集。

根据那篇文章，我建议关注以下性能指标，它们能比传统的分类准确率更深入地揭示模型的准确性：

• 混淆矩阵 (Confusion Matrix)：将预测结果分解成一个表格，显示正确的预测（对角线）以及错误预测的类型（错误预测被分配到了哪些类别）。
• 精确率 (Precision)：衡量分类器准确性的指标。
• 召回率 (Recall)：衡量分类器完备性的指标。
• F1 分数 (F1 Score 或 F-score)：精确率和召回率的加权平均值。

我还建议您看一下以下内容：

• Kappa (或 科恩的 kappa系数)：经数据中类别不平衡度校正后的分类准确率。
• ROC 曲线 (ROC Curves)：与精确率和召回率类似，准确率被分为敏感性（sensitivity）和特异性（specificity），可以根据这些值的平衡阈值来选择模型。

您可以在我们的文章“使用 ROC 曲线评估和比较分类器性能”中了解更多关于使用 ROC 曲线比较分类准确率的知识。

还不确定？从 kappa 开始，它会比分类准确率让你更好地了解情况。

3) 尝试对你的数据集进行重采样

你可以改变用于构建预测模型的数据集，使其数据更加均衡。

这种改变被称为对数据集进行采样，主要有两种方法可以用来平衡类别：

1. 你可以从未被充分代表的类别中添加实例的副本，这称为过采样（或更正式地称为有放回采样），或者
2. 你可以从过度代表的类别中删除实例，这被称为欠采样。

这些方法通常非常容易实现且运行速度快。它们是一个极好的起点。

事实上，我建议你在所有不平衡数据集上都尝试这两种方法，看看它们是否能提升你偏好的准确率指标。

你可以在维基百科的文章“数据分析中的过采样和欠采样”中了解更多信息。

一些经验法则

• 当你有大量数据（成千上万或更多实例）时，考虑测试欠采样。
• 当你数据不多（几万条或更少记录）时，考虑测试过采样。
• 考虑测试随机和非随机（例如分层）采样方案。
• 考虑测试不同的重采样比例（例如，在二元分类问题中，你不必非要追求1:1的比例，可以尝试其他比例）。

4) 尝试生成合成样本

生成合成样本的一个简单方法是从少数类别的实例中随机抽样属性。

你可以在数据集中进行经验性抽样，或者可以使用像朴素贝叶斯这样的方法，在反向运行时可以独立地对每个属性进行抽样。这样你会得到更多不同的数据，但属性之间的非线性关系可能无法保留。

有一些系统性的算法可以用来生成合成样本。其中最流行的一种算法叫做 SMOTE，即合成少数类过采样技术（Synthetic Minority Over-sampling Technique）。

正如其名，SMOTE 是一种过采样方法。它的工作原理是通过从少数类创建合成样本，而不是创建副本。该算法选择两个或多个相似的实例（使用距离度量），并通过一个在邻近实例差异范围内的随机量，逐个属性地扰动一个实例。

要了解更多关于SMOTE的信息，请参阅2002年的原始论文《SMOTE：合成少数类过采样技术》。

SMOTE 算法有多种实现，例如：

• 在 Python 中，可以看看“UnbalancedDataset”模块。它提供了多种 SMOTE 的实现以及其他各种你可以尝试的重采样技术。
• 在 R 语言中，DMwR 包提供了 SMOTE 的实现。
• 在 Weka 中，你可以使用 SMOTE 监督式过滤器。

5) 尝试不同的算法

我一如既往地强烈建议你不要在每个问题上都使用你最喜欢的算法。你至少应该在给定的问题上抽样检查各种不同类型的算法。

有关抽样检查算法的更多信息，请参阅我的帖子“为什么你应该在你的机器学习问题上抽样检查算法”。

话虽如此，决策树在不平衡数据集上通常表现良好。在创建树时使用的、关注类别变量的分裂规则，可以强制处理两个类别。

如果不确定，可以尝试一些流行的决策树算法，如 C4.5、C5.0、CART 和随机森林。

关于使用决策树的 R 语言代码示例，请参阅我的文章《在 R 中使用决策树进行非线性分类》。

有关在 Python 和 scikit-learn 中使用 CART 的示例，请参阅我的文章《立即动手实践 Scikit-Learn》。

6) 尝试带惩罚项的模型

你可以使用相同的算法，但让它们从不同的角度看待问题。

带惩罚项的分类在训练期间对模型在少数类别上犯的分类错误施加了额外的成本。这些惩罚可以使模型更偏向于关注少数类别。

类别惩罚或权重的处理通常是针对特定学习算法的。存在一些算法的惩罚版本，例如带惩罚的SVM和带惩罚的LDA。

也可能存在用于惩罚模型的通用框架。例如，Weka有一个CostSensitiveClassifier，它可以包装任何分类器，并应用一个自定义的错误分类惩罚矩阵。

如果你被锁定在某个特定算法上，无法进行重采样，或者结果不佳，那么使用惩罚项是可取的。它提供了另一种“平衡”类别的方法。设置惩罚矩阵可能很复杂。你很可能需要尝试各种惩罚方案，看看哪种最适合你的问题。

7) 尝试一个不同的视角

有一些专门研究不平衡数据集的领域。它们有自己的算法、度量和术语。

从这些角度审视和思考你的问题，有时能激发一些想法。

你可能想考虑的两个领域是**异常检测**和**变化检测**。

异常检测是检测罕见事件。这可能是一台机器通过其振动指示的故障，或一个程序通过其系统调用序列指示的恶意活动。这些事件是罕见的，与正常操作相比。

这种思维上的转变将少数类别视为离群类别，这可能有助于你思考分离和分类样本的新方法。

变化检测与异常检测类似，但它不是寻找异常，而是寻找变化或差异。这可能是通过使用模式或银行交易观察到的用户行为变化。

这两种转变都对分类问题采取了更实时的立场，这可能会给你一些思考问题的新方式，或许还能提供更多可以尝试的技术。

8) 尝试发挥创造力

真正深入你的问题，思考如何将其分解为更易处理的小问题。

为了获取灵感，可以看看 Quora 上对问题“在分类问题中，你如何处理不平衡的训练集？”的非常有创意的回答。

例如：

将你的大类分解成更小数目的其他类……

...使用单类分类器...（例如，像处理异常值检测一样）

……将不平衡的训练集重采样，不是变成一个平衡集，而是几个。在这些集合上运行一个分类器集成，可能会比单独一个分类器产生更好的结果。

这些只是一些你可以尝试的有趣且富有创意的想法。

想了解更多点子，可以查看 reddit 帖子“当我的训练集中80%属于一个类别时如何进行分类”中的评论。

选择一个方法并采取行动

你不需要成为算法奇才或统计学家，就能从不平衡数据集中构建准确可靠的模型。

我们已经介绍了一些可以用来处理不平衡数据集的技术。

希望其中有一两种方法你可以直接拿来应用，例如改变你的准确率度量标准和对数据集进行重采样。这两种方法都很快，并且会立即产生影响。

你打算尝试哪种方法？

最后一句，从小处着手

请记住，我们无法预知哪种方法最适合你和你正在处理的数据集。

你可以使用一些专家的经验法则来选择这种或那种方法，但最终，我能给你的最好建议是“成为科学家”，并通过实验测试每种方法，选择能给你带来最佳结果的方法。

从小处着手，在所学的基础上不断进步。

想要更多？进一步阅读…

如果你知道去哪里找，关于类别不平衡的资源是有的，但它们非常少见。

我找了一下，以下是我认为的精华。如果你想更深入地研究一些处理类别不平衡的学术文献，请查看下面的一些链接。

书籍

• 不平衡学习：基础、算法与应用 (Imbalanced Learning: Foundations, Algorithms, and Applications), 2013.
• 从不平衡数据集中学习 (Learning from Imbalanced Data Sets), 2018.

论文

• 针对不平衡数据集的数据挖掘：综述 (Data Mining for Imbalanced Datasets: An Overview)
• 从不平衡数据中学习 (Learning from Imbalanced Data)
• 解决不平衡训练集的诅咒：单边选择 (Addressing the Curse of Imbalanced Training Sets: One-Sided Selection) (PDF)
• 几种平衡机器学习训练数据方法的行为研究 (A Study of the Behavior of Several Methods for Balancing Machine Learning Training Data)

你觉得这篇文章有用吗？还有问题吗？

请留言，告诉我你的问题以及你对处理不平衡类别仍有的任何疑问。

掌控不平衡分类！

在几分钟内开发不平衡学习模型

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 处理不平衡分类问题

它提供了关于以下内容的自学教程和端到端项目：
性能指标、欠采样方法、SMOTE、阈值移动、概率校准、成本敏感算法
以及更多...

将不平衡分类方法引入您的机器学习项目

查看内容