如何在 Weka 中使用集成机器学习算法

集成算法是一类强大的机器学习算法，它结合了多个模型的预测结果。

使用Weka进行应用机器学习的一个好处是，它提供了如此多的不同集成机器学习算法。

在这篇文章中，您将学习如何在Weka中使用集成机器学习算法。

阅读本文后，您将了解

• 关于5种顶级集成机器学习算法。
• 如何在Weka中使用顶级集成算法。
• 关于Weka中集成算法的关键配置参数。

通过我的新书《Weka机器学习精通》来启动您的项目，其中包含分步教程和所有示例的清晰屏幕截图。

让我们开始吧。

如何在 Weka 中使用集成机器学习算法
照片由LEONARDO DASILVA拍摄，保留部分权利。

集成算法概述

我们将对Weka中的5种顶级集成机器学习算法进行一次巡览。

我们将简要介绍每种算法的工作原理，突出关键算法参数，并在Weka Explorer界面中演示该算法。

我们将回顾的5种算法是

1. Bagging
2. 随机森林
3. AdaBoost
4. 投票
5. 堆叠

这些是您可以在您的项目上尝试的5种算法，以提高性能。

将使用一个标准的机器学习分类问题来演示每种算法。

具体来说，是电离层二分类问题。这是一个很好的数据集来演示分类算法，因为输入变量是数值型的，并且都具有相同的尺度，该问题只有两个需要区分的类。

每个实例描述了来自大气的雷达回波的特性，任务是预测电离层中是否存在结构。有34个数值输入变量，通常具有相同的尺度。您可以在UCI机器学习仓库上了解更多关于此数据集的信息。顶级结果的准确率在98%左右。

启动Weka Explorer

1. 打开Weka GUI选择器。
2. 点击“Explorer”按钮打开Weka Explorer。
3. 从data/ionosphere.arff文件中加载电离层数据集
4. 点击“Classify”打开分类选项卡。

Bootstrap Aggregation (Bagging)

Bootstrap Aggregation，简称Bagging，是一种可用于分类或回归的集成算法。

Bootstrap是一种统计估计技术，其中统计量（如均值）从数据的多个随机样本（有放回）中估计。当数据量有限并且您对统计量的更稳健的估计感兴趣时，这是一种有用的技术。

这种采样原理可以与机器学习模型一起使用。从您的训练数据中抽取多个有放回的随机样本，并用于训练多个不同的机器学习模型。然后使用每个模型进行预测，并将结果平均以提供更稳健的预测。

这是一种最适用于低偏差、高方差的模型的技术，意味着它们进行的预测高度依赖于它们从中训练的特定数据。用于Bagging的最常用的、符合高方差要求的算法是决策树。

选择 bagging 算法

1. 点击“Choose”按钮，然后在“meta”组下选择“Bagging”。
2. 点击算法名称以查看算法配置。

Weka Bagging 算法的配置

Bagging中的一个关键配置参数是被 bagging 的模型的类型。默认是REPTree，它是Weka对标准决策树的实现，也称为分类回归树（CART）。这在classifier参数中指定。

每个随机样本的大小由bagSizePercent指定，它的大小是相对于原始训练数据集的百分比。默认是100%，它将创建一个与训练数据集大小相同的新随机样本，但组成不同。

这是因为随机样本是有放回抽取的，这意味着每次从训练数据集中随机抽取一个实例并将其添加到样本中时，它也会被放回训练数据集中（替换），这意味着它可以被再次选中并添加到样本中一次或多次。

最后，bag的数量（以及分类器的数量）可以在numIterations参数中指定。默认值为10，尽管通常使用数百或数千的值。继续增加numIterations的值，直到模型性能不再提高，或者您耗尽内存。

1. 点击“OK”关闭算法配置。
2. 点击“Start”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，bagging的准确率达到了91%。

Weka Bagging 算法的分类结果

随机森林

Random Forest是bagging对于决策树的扩展，可用于分类或回归。

袋装决策树的一个缺点是，决策树是通过一种贪婪算法构建的，该算法在树构建过程的每一步都选择最佳分裂点。因此，生成的树看起来非常相似，这降低了所有bag的预测方差，进而损害了预测的稳健性。

Random Forest是袋装决策树的改进，它在树创建过程中会干扰贪婪分裂算法，使得分裂点只能从输入属性的随机子集中选择。这个简单的改变可以对减少bag树之间的相似性以及进而减少预测结果产生很大的影响。

选择随机森林算法

1. 点击“Choose”按钮，然后在“trees”组下选择“RandomForest”。
2. 点击算法名称以查看算法配置。

Weka 随机森林算法的配置

除了上面为bagging列出的参数外，随机森林的一个关键参数是每个分裂点要考虑的属性数量。在Weka中，这可以通过numFeatures属性控制，该属性默认设置为0，它会根据经验法则自动选择值。

1. 点击“OK”关闭算法配置。
2. 点击“Start”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，随机森林的准确率达到了92%。

Weka 随机森林算法的分类结果

AdaBoost

AdaBoost是一种用于分类问题的集成机器学习算法。

它属于一类称为Boosting的集成方法，该方法按系列添加新的机器学习模型，后续模型试图修复先前模型所犯的预测错误。AdaBoost是此类模型首次成功的实现。

Adaboost设计用于使用短决策树模型，每个模型只有一个决策点。这些短树通常被称为决策桩。

第一个模型按照正常方式构建。训练数据集中的每个实例都有权重，并且根据模型的总体准确性以及实例是否被正确分类来更新权重。然后训练并添加后续模型，直到达到最小准确性或无法进一步改进。每个模型都根据其技能进行加权，这些权重在组合所有模型在新数据上的预测时使用。

选择 AdaBoost 算法

1. 点击“Choose”按钮，然后在“meta”组下选择“AdaBoostM1”。
2. 点击算法名称以查看算法配置。

Weka AdaBoost 算法的配置

AdaBoost模型中的弱学习器可以通过classifier参数指定。

默认是决策桩算法，但也可以使用其他算法。除了弱学习器之外，一个关键参数是创建并按系列添加的模型数量。这可以在numIterations参数中指定，默认为10。

1. 点击“OK”关闭算法配置。
2. 点击“Start”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，AdaBoost的准确率达到了90%。

Weka AdaBoost 算法的分类结果

投票

投票可能是最简单的集成算法，并且通常非常有效。它可以用于分类或回归问题。

投票的工作方式是创建两个或多个子模型。每个子模型都会做出预测，这些预测会以某种方式组合，例如取预测的平均值或众数，允许每个子模型就结果应该是什么进行投票。

选择 Vote 算法

1. 点击“Choose”按钮，然后在“meta”组下选择“Vote”。
2. 点击算法名称以查看算法配置。

Weka Vote 集成算法的配置

Vote集成的一个关键参数是子模型的选择。

在Weka中，可以通过classifier参数指定模型。点击此参数可以添加多个分类器。

Weka Vote 集成算法的选择

选择一个分类器后点击“Edit”按钮，可以配置该分类器的详细信息。选择子模型的一个目标是选择能够做出非常不同的预测（不相关的预测）的模型。因此，选择非常不同的模型类型是一个好的经验法则，例如树、基于实例的方法、函数等。

另一个为投票配置的关键参数是如何组合子模型的预测。这由combinationRule参数控制，该参数默认设置为取概率的平均值。

1. 点击“OK”关闭算法配置。
2. 点击“Start”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，Vote的准确率达到了64%。

显然，该技术取得了不佳的结果，因为只选择了ZeroR子模型。尝试选择5到10个不同的子模型集合。

堆叠泛化（Stacking）

Stacked Generalization 或 Stacking，简称Stacking，是Voting集成的简单扩展，可用于分类和回归问题。

除了选择多个子模型外，Stacking还可以让您指定另一个模型来学习如何最好地组合子模型的预测。因为使用元模型来最好地组合子模型的预测，所以这种技术有时被称为Blending，即混合预测。

选择 Stacking 算法

1. 点击“Choose”按钮，然后在“meta”组下选择“Stacking”。
2. 点击算法名称以查看算法配置。

Weka Stacking 集成算法的配置

与Vote分类器一样，您可以在classifiers参数中指定子模型。

将用于学习如何最好地组合子模型预测的模型可以在metaClassifier参数中指定，该参数默认设置为ZeroR（多数投票或平均值）。对于回归和分类问题，通常使用线性算法，如线性回归或逻辑回归。这是为了实现一个输出，该输出是子模型预测的简单线性组合。

1. 点击“OK”关闭算法配置。
2. 点击“Start”按钮在电离层数据集上运行算法。

您可以看到，在默认配置下，Stacking的准确率达到了64%。

同样，与投票一样，Stacking由于只选择了ZeroR子模型而取得了不佳的结果。尝试选择5到10个不同的子模型集合和一个用于组合预测的良好模型。

Weka Stacking 集成算法的分类结果

总结

在这篇文章中，您了解了如何在Weka中使用集成机器学习算法。

具体来说，你学到了

• 关于您可以在您的项目上使用的5种集成机器学习算法。
• 如何在Weka中使用集成机器学习算法。
• 关于Weka集成机器学习算法的关键配置参数。

您对Weka中的集成机器学习算法或本文有任何疑问吗？请在评论中提问，我会尽力回答。

探索无需代码的机器学习！

在几分钟内开发您自己的模型

...只需几次点击

在我的新电子书中探索如何实现
使用 Weka 精通机器学习

涵盖自学教程和端到端项目，例如
加载数据、可视化、构建模型、调优等等...

最终将机器学习应用到你自己的项目中

跳过学术理论。只看结果。

查看内容