机器学习中分类与回归的区别

分类和回归问题之间存在重要区别。

从根本上说，分类是关于预测一个标签，而回归是关于预测一个数量。

我经常看到诸如

如何计算我的回归问题的准确性？

诸如此类的问题，是由于不真正理解分类和回归之间的区别以及准确性试图衡量什么而造成的。

在本教程中，您将了解分类与回归的区别。

完成本教程后，您将了解：

• 预测建模是关于学习输入到输出的映射函数的问题，称为函数逼近。
• 分类是预测示例的离散类标签输出的问题。
• 回归是预测示例的连续数量输出的问题。

让我们开始吧。

机器学习中分类与回归的区别
照片作者：thomas wilson，保留部分权利。

教程概述

本教程分为5个部分，它们是：

1. 函数逼近
2. 分类
3. 回归
4. 分类与回归
5. 将回归问题转换为分类问题

函数逼近

预测建模是利用历史数据构建模型，对我们没有答案的新数据进行预测的问题。

预测建模可以描述为逼近输入变量 (X) 到输出变量 (y) 的映射函数 (f) 的数学问题。这被称为函数逼近问题。

建模算法的任务是在可用时间和资源的情况下找到最好的映射函数。

有关应用机器学习中函数逼近的更多信息，请参阅此帖

• 机器学习算法如何工作

通常，我们可以将所有函数逼近任务分为分类任务和回归任务。

分类预测建模

分类预测建模是逼近输入变量 (X) 到离散输出变量 (y) 的映射函数 (f) 的任务。

输出变量通常称为标签或类别。映射函数预测给定观测值的类别或分类。

例如，一封电子邮件可以被分类为属于两个类别之一：“垃圾邮件”或“非垃圾邮件”。

• 分类问题要求将示例分类到两个或多个类别之一。
• 分类可以具有实值或离散的输入变量。
• 具有两个类别的问題通常称为二分类或二元分类问题。
• 具有两个以上类别的问題通常称为多分类问题。
• 将示例分配给多个类别的问題称为多标签分类问题。

分类模型通常会预测一个连续值，作为给定示例属于每个输出类别的概率。概率可以解释为给定示例属于每个类别的可能性或置信度。通过选择概率最高的类别标签，可以将预测概率转换为类别值。

例如，一封特定的电子邮件文本可能被分配“垃圾邮件”的概率为 0.1，而“非垃圾邮件”的概率为 0.9。我们可以通过选择“非垃圾邮件”标签（因为它具有最高的预测可能性）将这些概率转换为类别标签。

有许多方法可以估计分类预测模型的技能，但也许最常见的是计算分类准确率。

分类准确率是所有预测中正确分类的示例的百分比。

例如，如果一个分类预测模型进行了 5 次预测，其中 3 次正确，2 次错误，那么仅基于这些预测的模型分类准确率将是

能够学习分类预测模型的算法称为分类算法。

回归预测建模

回归预测建模是逼近输入变量 (X) 到连续输出变量 (y) 的映射函数 (f) 的任务。

连续输出变量是实值，例如整数或浮点值。这些通常是数量，例如金额和尺寸。

例如，房屋的预测售价可能为特定美元价值，可能在 100,000 美元到 200,000 美元之间。

• 回归问题需要预测一个数量。
• 回归可以具有实值或离散的输入变量。
• 具有多个输入变量的问题通常称为多元回归问题。
• 输入变量按时间顺序排列的回归问题称为时间序列预测问题。

由于回归预测模型预测的是数量，因此必须将模型技能报告为这些预测中的误差。

有许多方法可以估计回归预测模型的技能，但也许最常见的是计算均方根误差，其缩写是 RMSE。

例如，如果一个回归预测模型进行了 2 次预测，一次是 1.5，预期值为 1.0，另一次是 3.3，预期值为 3.0，那么 RMSE 将是

RMSE 的一个好处是误差分数的单位与预测值的单位相同。

能够学习回归预测模型的算法称为回归算法。

有些算法的名称中包含“回归”一词，例如线性回归和逻辑回归，这可能会造成混淆，因为线性回归是回归算法，而逻辑回归是分类算法。

分类与回归

分类预测建模问题与回归预测建模问题不同。

• 分类是预测离散类别的任务。
• 回归是预测连续数量的任务。

分类和回归的算法之间存在一些重叠；例如

• 分类算法可能会预测一个连续值，但该连续值是类别标签的概率形式。
• 回归算法可能会预测一个离散值，但该离散值是整数数量的形式。

有些算法可以通过小修改同时用于分类和回归，例如决策树和人工神经网络。有些算法则不能，或不能轻易用于两种问题类型，例如用于回归预测建模的线性回归和用于分类预测建模的逻辑回归。

重要的是，我们评估分类和回归预测的方式各不相同，而且不重叠，例如

• 分类预测可以使用准确率进行评估，而回归预测则不能。
• 回归预测可以使用均方根误差进行评估，而分类预测则不能。

将回归问题转换为分类问题

在某些情况下，可以将回归问题转换为分类问题。例如，要预测的数量可以转换为离散的桶。

例如，介于 0 美元和 100 美元之间的连续范围内的金额可以转换为 2 个桶

• 类别 0：0 美元至 49 美元
• 类别 1：50 美元至 100 美元

这通常称为离散化，所得的输出变量是一个分类，其中标签具有有序关系（称为序数）。

在某些情况下，可以将分类问题转换为回归问题。例如，标签可以转换为连续范围。

有些算法已经这样做了，通过预测每个类别的概率，然后可以将该概率缩放到特定范围

或者，类别值可以排序并映射到连续范围

• 类别 1：0 美元至 49 美元
• 类别 2：50 美元至 100 美元

如果分类问题中的类别标签没有自然的序数关系，那么从分类到回归的转换可能会导致意外或糟糕的性能，因为模型可能会学习到一个虚假的或不存在的从输入到连续输出范围的映射。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

• 预测建模入门简介
• 机器学习算法如何工作

总结

在本教程中，您了解了分类与回归问题之间的区别。

具体来说，你学到了：

• 预测建模是关于学习输入到输出的映射函数的问题，称为函数逼近。
• 分类是预测示例的离散类标签输出的问题。
• 回归是预测示例的连续数量输出的问题。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。