在Weka中设计并运行您的第一个实验

Weka 是学习机器学习的绝佳平台。它提供了一个图形用户界面，用于在数据集上探索和试验机器学习算法，而无需您担心数学或编程。

Weka 的一个强大功能是 Weka Experimenter 界面。与用于过滤数据和尝试不同算法的 Weka Explorer 不同，Experimenter 用于设计和运行实验。它产生的实验结果是可靠的，并且足以发表（如果您知道自己在做什么）。

在上一篇文章中，您了解了如何在 Weka Explorer 中运行您的第一个分类器。

在这篇文章中，您将发现 Weka Experimenter 的强大功能。如果您按照分步说明进行操作，您将在不到五分钟的时间内设计并运行您的第一个机器学习实验。

使用我的新书《使用 Weka 进行机器学习精通》来

启动您的项目

第一个实验
照片由 mhofstrand 拍摄，保留部分权利

1. 下载并安装 Weka

访问Weka下载页面，找到适合您电脑的版本（Windows、Mac或Linux）。

Weka 需要 Java。您可能已经安装了 Java，如果没有，下载页面上列出的 Weka 版本（适用于 Windows）包含 Java 并会为您安装。我自己使用的是 Mac，就像 Mac 上其他一切一样，Weka 开箱即用。

如果您对机器学习感兴趣，那么我知道您一定能弄清楚如何下载和安装软件到自己的电脑。

2. 启动Weka

启动Weka。这可能涉及在程序启动器中找到它，或双击 weka.jar 文件。这将启动 Weka GUI 选择器。

Weka GUI 选择器

Weka GUI 选择器让您可以选择 Explorer、Experimenter、KnowledgeExplorer 和 Simple CLI（命令行界面）中的一个。

单击“Experimenter”按钮启动 Weka Experimenter。

Weka Experimenter允许您设计自己的在数据集上运行算法的实验，运行实验并分析结果。它是一个强大的工具。

3. 设计实验

单击“New”按钮创建一个新的实验配置。

Weka Experimenter
开始新的实验

测试选项

Experimenter 会使用合理的默认值为您配置测试选项。该实验配置使用 10 折交叉验证。这是一个“分类”类型的问题，每个算法+数据集组合会运行 10 次（迭代控制）。

鸢尾花数据集

让我们先选择数据集。

1. 在“Datasets”选择框中，单击“Add new…”按钮。
2. 打开“data”目录并选择“iris.arff”数据集。

鸢尾花数据集是一个著名的统计学数据集，被机器学习研究人员广泛借用。它包含 150 个实例（行）和 4 个属性（列）以及用于鸢尾花种类（setosa、versicolor、virginica 之一）的类别属性。您可以在维基百科上阅读更多关于鸢尾花数据集的信息。

让我们选择 3 种算法来运行我们的数据集。

ZeroR

1. 在“Algorithms”部分单击“Add new…”。
2. 单击“Choose”按钮。
3. 在“rules”选择框下单击“ZeroR”。

ZeroR 是我们可以运行的最简单的算法。它选择数据集中数量最多的类别值，并将其用于所有预测。鉴于所有三个类别值的比例相等（各 50 个实例），它选择第一个类别值“setosa”，并将其作为所有预测的答案。仅凭常识，我们知道 ZeroR 能给出的最佳结果是 33.33%（50/150）。这很好，可以作为我们要求算法超越的基准。

OneR

1. 在“Algorithms”部分单击“Add new…”。
2. 单击“Choose”按钮。
3. 在“rules”选择框下单击“OneR”。

OneR 就像我们的第二简单的算法。它选择一个与类别值最相关的属性，并对其进行拆分以获得最佳预测精度。与 ZeroR 算法一样，该算法非常简单，您可以手动实现它，我们期望更复杂的算法能超越它。

J48

1. 在“Algorithms”部分单击“Add new…”。
2. 单击“Choose”按钮。
3. 在“trees”选择框下单击“J48”。

J48 是一个决策树算法。它是 Java 中 C4.8 算法的实现（“J”代表 Java，48 代表 C4.8）。C4.8 算法是著名的 C4.5 算法的一个小扩展，它是一种非常强大的预测算法。

Weka Experimenter
配置实验

我们已准备好运行我们的实验。

4. 运行实验

单击屏幕顶部的“Run”选项卡。

此标签页是运行当前配置的实验的控制面板。

单击大的“Start”按钮开始实验，并关注“Log”和“Status”部分，以了解其运行情况。

Weka Experimenter
运行实验

鉴于数据集很小且算法速度很快，实验应在几秒钟内完成。

5. 审阅结果

单击屏幕顶部的“Analyse”选项卡。

这将打开实验结果分析面板。

Weka Experimenter
加载实验结果

在“Source”部分单击“Experiment”按钮加载当前实验的结果。

算法排名

我们首先想知道哪个算法是最好的。我们可以通过算法击败其他算法的次数来对算法进行排名。

1. 单击“Test base”的“Select”按钮，然后选择“Ranking”。
2. 现在单击“Perform test”按钮。

Weka Experimenter
对实验结果中的算法进行排名

排名表显示了每个算法在数据集中相对于所有其他算法的统计学上显著的获胜次数。获胜意味着准确率优于另一个算法的准确率，并且差异在统计学上是显著的。

我们可以看到 J48 和 OneR 都各有一次获胜，而 ZeroR 则有两次失败。这很好，这意味着 OneR 和 J48 都可能超越我们的 ZeroR 基准。

算法准确率

接下来，我们想知道算法取得了什么样的分数。

1. 单击“Test base”的“Select”按钮，然后在列表中选择“ZeroR”算法，然后单击“Select”按钮。
2. 单击“Show std. deviations”旁边的复选框。
3. 现在单击“Perform test”按钮。

Weka Experimenter
算法精度与 ZeroR 的比较

在“Test output”中，我们可以看到一个包含 3 种算法结果的表格。每种算法都在数据集上运行了 10 次，报告的准确率是这 10 次运行的平均值和标准差（以百分比表示）。

我们可以看到 OneR 和 J48 算法的结果旁边都有一个小“v”。这意味着这些算法的准确率与 ZeroR 相比存在统计学上的显著差异。我们还可以看到这些算法的准确率与 ZeroR 相比很高，因此我们可以说这两种算法取得了比 ZeroR 基准显著更好的结果。

J48 的得分高于 OneR 的得分，所以接下来我们想看看这两个准确率得分之间的差异是否显著。

1. 单击“Test base”的“Select”按钮，然后在列表中选择“J48”算法，然后单击“Select”按钮。
2. 现在单击“Perform test”按钮。

Weka Experimenter
算法精度与 J48 的比较

我们可以看到 ZeroR 的结果旁边有一个“*”，表示其结果与 J48 相比存在统计学上的差异。但我们已经知道了。我们没有在 OneR 算法的结果旁边看到“*”。这告诉我们，尽管 J48 和 OneR 之间的平均准确率不同，但这种差异在统计学上并不显著。

在其他条件相同的情况下，我们将选择 OneR 算法来解决这个问题，因为它比这两种算法更简单。

如果我们想报告结果，我们会说 OneR 算法的分类准确率为 92.53%（+/- 5.47%），这比 ZeroR 的 33.33%（+/- 5.47%）在统计学上显著更好。

总结

您已了解如何在 Weka 中使用一个数据集和三种算法配置机器学习实验。您还了解了如何分析实验结果以及在解释结果时统计显著性的重要性。

您现在已经掌握了在您选择的数据集上使用 Weka 提供的任何算法设计和运行实验的技能，并且能够有意义且自信地报告您取得的结果。

探索无需代码的机器学习！

在几分钟内开发您自己的模型

...只需几次点击

在我的新电子书中探索如何实现
使用 Weka 精通机器学习

涵盖自学教程和端到端项目，例如
加载数据、可视化、构建模型、调优等等...

最终将机器学习应用到你自己的项目中

跳过学术理论。只看结果。

查看内容