如何在 Weka 中使用分类机器学习算法

Weka 提供了大量的分类算法。

大量的可用机器学习算法是使用 Weka 平台解决机器学习问题的好处之一。

在这篇文章中，您将学习如何在 Weka 中使用 5 种顶级机器学习算法。

阅读本文后，您将了解

• 关于 5 种可用于分类问题的顶级机器学习算法。
• 如何在 Weka 中使用 5 种顶级分类算法。
• 5 种顶级分类算法的关键配置参数。

用我的新书《Weka 机器学习精通》启动您的项目，其中包括所有示例的分步教程和清晰的屏幕截图。

让我们开始吧。

如何在 Weka 中使用分类机器学习算法
照片由 Don Graham 提供，保留部分权利。

分类算法之旅概述

我们将对 Weka 中的 5 种顶级分类算法进行一次巡礼。

我们将简要描述每种算法的工作原理，突出显示关键算法参数，并在 Weka Explorer 界面中演示该算法。

我们将回顾的 5 种算法是：

1. 逻辑回归
2. 朴素贝叶斯
3. 决策树
4. k-最近邻
5. 支持向量机

这 5 种算法可以作为起点，尝试解决您的分类问题。

将使用一个标准的机器学习分类问题来演示每种算法。具体来说，是电离层二元分类问题。这是一个很好的数据集来演示分类算法，因为输入变量是数值型的，并且都具有相同的尺度，而且问题只有两个类别需要区分。

每个实例描述了大气雷达回波的特性，任务是预测电离层中是否存在结构。有 34 个数值输入变量，大致具有相同的尺度。您可以在 UCI 机器学习存储库上了解有关此数据集的更多信息。最高结果的准确率约为 98%。

启动 Weka Explorer

1. 打开Weka GUI选择器。
2. 点击“Explorer”按钮打开 Weka Explorer。
3. 从 data/ionosphere.arff 文件加载电离层数据集。
4. 点击“Classify”打开分类选项卡。

逻辑回归

逻辑回归是一种二元分类算法。

它假设输入变量是数值型的并服从高斯（钟形曲线）分布。最后一点并非必须为真，因为即使您的数据不是高斯分布，逻辑回归仍然可以取得良好的结果。对于电离层数据集，一些输入属性具有类似高斯分布，但许多不具备。

该算法为每个输入值学习一个系数，这些系数线性组合成一个回归函数，并通过一个逻辑（S 形）函数进行转换。逻辑回归是一种快速简单的技术，但在某些问题上可能非常有效。

逻辑回归仅支持二元分类问题，尽管 Weka 实现已进行调整以支持多类别分类问题。

选择逻辑回归算法

1. 点击“选择”按钮，在“函数”组下选择“Logistic”。
2. 点击算法名称以查看算法配置。

Weka 逻辑回归算法配置

该算法可以运行固定次数的迭代（maxIts），但默认情况下会一直运行，直到估计算法收敛为止。

该实现使用脊估计器，这是一种正则化。此方法旨在通过最小化模型学习到的系数来简化训练期间的模型。脊参数定义了对算法施加多大的压力来减小系数的大小。将其设置为 0 将关闭此正则化。

1. 点击“确定”关闭算法配置。
2. 点击“开始”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，逻辑回归达到了 88% 的准确率。

Weka 逻辑回归算法分类结果

朴素贝叶斯

朴素贝叶斯是一种分类算法。传统上，它假设输入值是标称的，尽管通过假设分布来支持数值输入。

朴素贝叶斯使用贝叶斯定理的简单实现（因此称为朴素），其中每个类别的先验概率从训练数据中计算得出，并假定彼此独立（技术上称为条件独立）。

这是一个不切实际的假设，因为我们期望变量之间相互作用并相互依赖，尽管这个假设使得概率计算快速而简单。即使在这个不切实际的假设下，朴素贝叶斯也已被证明是一种非常有效的分类算法。

朴素贝叶斯计算每个类别的后验概率，并预测概率最高的类别。因此，它支持二元分类和多类别分类问题。

选择朴素贝叶斯算法

1. 点击“选择”按钮，在“贝叶斯”组下选择“NaiveBayes”。
2. 点击算法名称以查看算法配置。

Weka 朴素贝叶斯算法配置

默认情况下，每个数值属性都假定为高斯分布。

您可以使用 `useKernelEstimator` 参数将算法更改为使用核估计器，这可能更好地匹配数据集中属性的实际分布。另外，您可以使用 `useSupervisedDiscretization` 参数将数值属性自动转换为标称属性。

1. 点击“确定”关闭算法配置。
2. 点击“开始”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，朴素贝叶斯达到了 82% 的准确率。

Weka 朴素贝叶斯算法分类结果

您还可以使用其他几种朴素贝叶斯算法。

决策树

决策树可以支持分类和回归问题。

决策树最近被称为分类与回归树 (CART)。它们通过创建一棵树来评估数据实例，从树的根部开始向下移动到叶子（根），直到可以做出预测。创建决策树的过程是通过贪婪地选择最佳分割点来做出预测，并重复该过程直到树达到固定深度。

树构建完成后，对其进行修剪，以提高模型对新数据的泛化能力。

选择决策树算法

1. 点击“选择”按钮，在“树”组下选择“REPTree”。
2. 点击算法名称以查看算法配置。

Weka 决策树算法配置

树的深度是自动定义的，但可以在 maxDepth 属性中指定深度。

您还可以选择通过将 `noPruning` 参数设置为 True 来关闭剪枝，尽管这可能会导致性能下降。

minNum 参数定义了在从训练数据构建树时，叶节点中树支持的最小实例数。

1. 点击“确定”关闭算法配置。
2. 点击“开始”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，决策树算法达到了 89% 的准确率。

Weka 决策树算法分类结果

您可以使用另一种更高级的决策树算法，即 C4.5 算法，在 Weka 中称为 J48。

您可以通过右键点击“结果列表”并点击“可视化树”来查看在整个训练数据集上准备的决策树的可视化。

Weka 决策树可视化

k-最近邻

k-最近邻算法支持分类和回归。它也简称为 kNN。

它的工作原理是存储整个训练数据集，并在进行预测时查询它以找到 k 个最相似的训练模式。因此，除了原始训练数据集之外，没有模型，执行的唯一计算是在请求预测时查询训练数据集。

它是一个简单的算法，但除了数据实例之间的距离在做出预测时有意义之外，它对问题没有太多假设。因此，它通常能取得非常好的性能。

在对分类问题进行预测时，KNN 将采用训练数据集中 k 个最相似实例的众数（最常见的类别）。

选择 k-最近邻算法

1. 点击“选择”按钮，在“惰性”组下选择“IBk”。
2. 点击算法名称以查看算法配置。

Weka k-最近邻算法配置

邻域的大小由 k 参数控制。

例如，如果 k 设置为 1，则使用与给定新模式（需要预测）最相似的单个训练实例进行预测。k 的常见值为 3、7、11 和 21，对于更大的数据集，k 值更大。Weka 可以通过在算法内部使用交叉验证并设置 `crossValidate` 参数为 True 来自动发现 k 的良好值。

另一个重要参数是使用的距离度量。这在 `nearestNeighbourSearchAlgorithm` 中配置，它控制训练数据的存储和搜索方式。

默认是 LinearNNSearch。点击此搜索算法的名称将提供另一个配置窗口，您可以在其中选择一个 `distanceFunction` 参数。默认情况下，使用欧几里得距离来计算实例之间的距离，这适用于尺度相同的数值数据。如果您的属性在度量或类型上不同，则曼哈顿距离是一个不错的选择。

Weka k-最近邻算法中搜索算法的配置

最好在您的问题上尝试一系列不同的 k 值和距离度量，看看哪个效果最好。

1. 点击“确定”关闭算法配置。
2. 点击“开始”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，kNN 算法达到了 86% 的准确率。

Weka k-最近邻分类结果

支持向量机

支持向量机是为二元分类问题而开发的，尽管该技术已进行扩展以支持多类别分类和回归问题。该算法通常简称为 SVM。

SVM 是为数值输入变量开发的，尽管它会自动将标称值转换为数值。输入数据在使用前也会进行归一化。

SVM 通过寻找一条最佳地将数据分成两组的线来工作。这是通过优化过程完成的，该过程只考虑训练数据集中最接近最佳分离类别的线的那些数据实例。这些实例被称为支持向量，因此得名该技术。

在几乎所有感兴趣的问题中，都无法画出一条线来整齐地分离这些类别，因此在线周围添加了一个边距以放松约束，允许一些实例被错误分类，但总体上能获得更好的结果。

最后，很少有数据集可以用直线分离。有时需要划出带有曲线甚至多边形区域的线。这通过 SVM 将数据投影到更高维空间以绘制线并进行预测来实现。可以使用不同的核来控制投影以及分离类别的灵活性。

选择 SVM 算法

1. 点击“选择”按钮，在“函数”组下选择“SMO”。
2. 点击算法名称以查看算法配置。

SMO 指的是 SVM 实现中使用的特定高效优化算法，它代表顺序最小优化。

Weka 支持向量机算法配置

C 参数，在 Weka 中称为复杂性参数，控制绘制分离类别的线的灵活程度。值为 0 表示不允许违反边界，而默认值为 1。

SVM 中的一个关键参数是使用的核类型。最简单的核是线性核，它用直线或超平面分离数据。Weka 中的默认核是多项式核，它将使用曲线或波浪线分离类别，多项式越高，波浪越曲折（指数值）。

一个流行且强大的核是 RBF 核或径向基函数核，它能够学习闭合多边形和复杂形状来分离类别。

最好在您的问题上尝试一系列不同的核和 C（复杂性）值，看看哪个效果最好。

1. 点击“确定”关闭算法配置。
2. 点击“开始”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，SVM 算法达到了 88% 的准确率。

Weka 支持向量机算法分类结果

总结

在这篇文章中，您了解了如何在 Weka 中使用顶级分类机器学习算法。

具体来说，你学到了：

• 您可以尝试解决自己问题的 5 种顶级分类算法。
• 每种算法要调整的关键配置参数。
• 如何在 Weka 中使用每种算法。

您对 Weka 中的分类算法或本文有任何疑问吗？请在评论中提出您的问题，我将尽力回答。

探索无需代码的机器学习！

在几分钟内开发您自己的模型

...只需几次点击

在我的新电子书中探索如何实现
使用 Weka 精通机器学习

涵盖自学教程和端到端项目，例如
加载数据、可视化、构建模型、调优等等...

最终将机器学习应用到你自己的项目中

跳过学术理论。只看结果。

查看内容