多类分类中的“一对多”和“一对一”策略

并非所有分类预测模型都支持多类分类。

像感知器、逻辑回归和支持向量机这样的算法是为二元分类设计的，不直接支持两个以上类别的分类任务。

使用二元分类算法解决多分类问题的一种方法是将多类分类数据集拆分为多个二元分类数据集，并在每个数据集上拟合一个二元分类模型。这种方法的两个不同示例是“一对多”（One-vs-Rest）和“一对一”（One-vs-One）策略。

在本教程中，您将了解用于多类分类的“一对多”和“一对一”策略。

完成本教程后，您将了解：

• 像逻辑回归和SVM这样的二元分类模型不直接支持多类分类，需要元策略（meta-strategies）。
• “一对多”策略将一个多类分类问题拆分为每个类别一个二元分类问题。
• “一对一”策略将一个多类分类问题拆分为每对类别一个二元分类问题。

通过我的新书《使用 Python 的集成学习算法》启动您的项目，书中包含所有示例的分步教程和Python 源代码文件。

让我们开始吧。

如何使用“一对多”和“一对一”进行多类别分类
图片由 Espen Sundve 拍摄，保留部分权利。

教程概述

本教程分为三个部分；它们是：

1. 用于多类分类的二元分类器
2. 多类分类中的“一对多”策略
3. 多类分类中的“一对一”策略

用于多类分类的二元分类器

分类是一个预测建模问题，涉及为示例分配类别标签。

二元分类是指将示例分配到两个类别之一的任务。多类分类是指将示例分配到两个以上类别之一的任务。

• 二元分类：具有两个类别的分类任务。
• 多类分类：具有两个以上类别的分类任务。

有些算法是为二元分类问题设计的。例如：

• 逻辑回归
• 感知器
• 支持向量机

因此，它们不能直接用于多类分类任务。

相反，可以使用启发式方法将多类分类问题拆分为多个二元分类数据集，并为每个数据集训练一个二元分类模型。

这些启发式方法的两个示例包括：

• 一对多（OvR）
• 一对一（OvO）

让我们仔细看看每一个。

多类分类中的“一对多”策略

一对多（简称 OvR，也称为 One-vs-All 或 OvA）是一种使用二元分类算法进行多类分类的启发式方法。

它涉及将多类数据集拆分为多个二元分类问题。然后，针对每个二元分类问题训练一个二元分类器，并使用最自信的模型进行预测。

例如，给定一个多类分类问题，其中包含“红色”、“蓝色”和“绿色”每个类别的示例。这可以分为三个二元分类数据集，如下所示：

• 二元分类问题 1：红色 vs [蓝色, 绿色]
• 二元分类问题 2：蓝色 vs [红色, 绿色]
• 二元分类问题 3：绿色 vs [红色, 蓝色]

这种方法的一个潜在缺点是它需要为每个类别创建一个模型。例如，三个类别需要三个模型。对于大型数据集（例如，数百万行）、慢速模型（例如，神经网络）或非常多的类别（例如，数百个类别），这可能是一个问题。

显而易见的方法是采用一对多方法（也称为一-对-所有），其中我们训练 C 个二元分类器 fc(x)，其中类别 c 的数据被视为正例，而所有其他类别的数据被视为负例。

——第 503 页，《机器学习：概率视角》，2012 年。

这种方法要求每个模型预测一个类别成员概率或类似概率的分数。然后，使用这些分数的最大值（分数最大的类别索引）来预测类别。

这种方法通常用于自然地预测数值类别成员概率或分数的算法，例如：

• 逻辑回归
• 感知器

因此，scikit-learn 库中这些算法的实现默认在将它们用于多类分类时采用 OvR 策略。

我们可以通过一个使用 LogisticRegression 算法的 3 类分类问题示例来演示这一点。处理多类分类的策略可以通过“multi_class”参数设置，并可以设置为“ovr”以使用一对多策略。

使用内置一对多策略拟合多类分类逻辑回归模型的完整示例如下所示。

scikit-learn 库还提供了一个单独的 OneVsRestClassifier 类，它允许将一对多策略与任何分类器一起使用。

此类别可用于将二元分类器（如逻辑回归或感知器）用于多类分类，甚至可用于其他原生支持多类分类的分类器。

它使用起来非常简单，需要将用于二元分类的分类器作为参数提供给 OneVsRestClassifier。

以下示例演示了如何将 OneVsRestClassifier 类与用作二元分类模型的 LogisticRegression 类一起使用。

多类分类中的“一对一”策略

一对一（简称 OvO）是另一种使用二元分类算法进行多类分类的启发式方法。

与一对多类似，一对一将多类分类数据集拆分为二元分类问题。与一对多为每个类别拆分一个二元数据集不同，一对一方法为每个类别与所有其他类别对拆分一个数据集。

例如，考虑一个具有四个类别：“红色”、“蓝色”、“绿色”和“黄色”的多类分类问题。这可以分为六个二元分类数据集，如下所示：

• 二元分类问题 1：红色 vs 蓝色
• 二元分类问题 2：红色 vs 绿色
• 二元分类问题 3：红色 vs 黄色
• 二元分类问题 4：蓝色 vs 绿色
• 二元分类问题 5：蓝色 vs 黄色
• 二元分类问题 6：绿色 vs 黄色

这比上一节中描述的一对多策略明显需要更多的数据集和模型。

计算二元数据集（以及模型）数量的公式如下：

• (类别数 * (类别数 – 1)) / 2

我们可以看到，对于四个类别，这给我们六个二元分类问题的预期值：

• (类别数 * (类别数 – 1)) / 2
• (4 * (4 – 1)) / 2
• (4 * 3) / 2
• 12 / 2
• 6

每个二元分类模型可能预测一个类别标签，并且由一对一策略预测拥有最多预测或投票的模型。

另一种方法是引入 K(K - 1)/2 个二元判别函数，每对可能的类别一个。这被称为一对一分类器。然后根据判别函数之间的多数投票对每个点进行分类。

——第 183 页，《模式识别与机器学习》，2006 年。

同样，如果二元分类模型预测数值类别成员资格（例如概率），则将分数总和的最大值（总和分数最大的类别）预测为类别标签。

通常，这种方法被建议用于支持向量机（SVM）和相关的基于核的算法。这被认为是因为核方法的性能与训练数据集的大小不成比例，使用训练数据的子集可以抵消这种影响。

scikit-learn 中的支持向量机实现由 SVC 类提供，并支持一对一方法用于多类分类问题。这可以通过将“decision_function_shape”参数设置为“ovo”来实现。

下面的例子演示了使用一对一方法进行多类分类的 SVM。

scikit-learn 库还提供了一个单独的 OneVsOneClassifier 类，它允许将一对一策略与任何分类器一起使用。

此类别可与二元分类器（如 SVM、逻辑回归或感知器）用于多类分类，甚至可用于其他原生支持多类分类的分类器。

它使用起来非常简单，需要将用于二元分类的分类器作为参数提供给 OneVsOneClassifier。

以下示例演示了如何将 OneVsOneClassifier 类与用作二元分类模型的 SVC 类一起使用。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

书籍

• 模式识别与机器学习, 2006.
• 机器学习：概率视角, 2012.

API

• 多类和多标签算法，scikit-learn API.
• sklearn.multiclass.OneVsRestClassifier API.
• sklearn.multiclass.OneVsOneClassifier API.

文章

• 多类分类，维基百科.

总结

在本教程中，您学习了用于多类分类的“一对多”和“一对一”策略。

具体来说，你学到了：

• 像逻辑回归和SVM这样的二元分类模型不直接支持多类分类，需要元策略（meta-strategies）。
• “一对多”策略将一个多类分类问题拆分为每个类别一个二元分类问题。
• “一对一”策略将一个多类分类问题拆分为每对类别一个二元分类问题。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌握现代集成学习！

在几分钟内改进您的预测

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 实现集成学习算法

它提供**自学教程**，并附有关于以下内容的**完整工作代码**：
堆叠、投票、提升、装袋、混合、超级学习器等等……

将现代集成学习技术带入
您的机器学习项目

查看内容