如何在 Weka 中评估机器学习算法的性能

预测建模的问题在于创建能够在新未见数据上表现良好的模型。

因此，使用稳健的技术在可用训练数据上训练和评估模型至关重要。模型性能的估计越可靠，您就能越深入地提升性能，并确信它能转化为模型的实际应用。

在这篇文章中，您将了解在Weka中估计机器学习模型性能的各种不同方法。

阅读本文后，您将了解

• 如何使用训练数据集评估模型。
• 如何使用随机训练集和测试集分割评估模型。
• 如何使用K折交叉验证评估模型。

通过我的新书《Weka机器学习精通》**启动您的项目**，其中包括所有示例的**分步教程**和清晰的**截图**。

让我们开始吧。

如何在 Weka 中评估机器学习算法的性能
图片由Will Fisher提供，保留部分权利。

模型评估技术

有多种模型评估技术可供选择，Weka机器学习工作台提供了其中四种，如下所示：

训练数据集

在整个训练数据集上准备模型，然后用相同的数据集评估模型。这通常存在问题，尤其因为一个完美的算法可以通过简单地记忆（存储）所有训练模式并获得完美分数来“玩弄”这种评估技术，这会产生误导。

提供的测试集

使用另一个程序手动分割数据集。在整个训练数据集上准备模型，并使用单独的测试集来评估模型的性能。如果您有大量数据集（数万个实例），这是一种很好的方法。

百分比分割

每次评估模型时，随机将数据集分割成训练和测试分区。这可以提供一个非常快速的性能估计，并且与使用提供的测试集一样，仅当您拥有大量数据集时才更可取。

交叉验证

将数据集分成k个分区或折叠。在除了一个作为测试集的分区之外的所有分区上训练模型，然后重复此过程，创建k个不同的模型，并让每个折叠都有机会作为测试集。然后计算所有k个模型的平均性能。这是评估模型性能的黄金标准，但代价是创建更多模型。

您可以在Weka Explorer中加载数据集后，在“分类”选项卡中看到这些技术。

Weka算法评估测试选项

使用哪个测试选项

鉴于有四种不同的测试选项可供选择，您应该使用哪一种？

每个测试选项都有其时间和地点，总结如下：

• 训练数据集：仅在您拥有所有数据且对创建描述性而非预测性模型感兴趣时使用。因为您拥有所有数据，所以无需进行新的预测。您对创建模型以更好地理解问题感兴趣。
• 提供的测试集：当数据量非常大时，例如数百万条记录，并且您不需要全部数据来训练模型时。当测试集由第三方定义时也很有用。
• 百分比分割：非常适合用于快速了解模型性能。不应用于做出决策，除非您有非常大的数据集并且确信（例如，您已经测试过）分割充分描述了问题。常见的分割值是训练集和测试集分别为66%和34%。
• 交叉验证：默认选项。当您不确定时使用。通常比其他技术提供更准确的性能估计。当数据量非常大时不使用。k的常见值是5和10，具体取决于数据集的大小。

如果疑问，请使用k折交叉验证，其中k设置为10。

关于最终模型

测试选项关注于估计模型在未见数据上的性能。

这是一个需要内化的重要概念。预测建模的目标是创建一个模型，在未来带有新未知数据的情况下，在尚未完全理解的情境中表现最佳。我们必须使用这些强大的统计技术来最佳地估计模型在这种情境下的性能。

话虽如此，一旦我们选择了模型，它就必须被最终确定。这些测试选项都不用于此目的。

模型必须在整个训练数据集上进行训练并保存。模型最终确定这一主题超出了本帖的范围。

只需注意，最终模型的性能无需计算，它通过上述测试选项技术进行估计。

性能摘要

当您评估模型时，Weka会提供性能摘要。

在“分类”选项卡中，点击“开始”按钮评估算法后，结果会显示在“分类器输出”窗格中。

此窗格包含大量信息，包括：

• 运行信息，例如算法及其配置、数据集及其属性以及测试选项
• 所构建模型的详细信息（如果有）。
• 性能摘要，包括大量不同的度量。

分类性能摘要

在分类问题上评估机器学习算法时，您会得到大量性能信息需要消化。

这是因为分类可能是研究最深入的预测建模问题类型，并且有许多不同的方式来思考分类算法的性能。

分类算法的性能摘要中有三点需要注意：

1. 分类准确率。这是正确预测数占所有预测数的比例，通常以百分比表示，其中100%是算法能达到的最佳结果。如果您的数据类别不平衡，您可能需要查看Kappa指标，它在考虑类别平衡的情况下呈现相同的信息。
2. 按类别准确率。请注意每个类别的预测的真阳性率和假阳性率，这在问题类别分布不均匀或存在两个以上类别时具有指导意义。如果预测一个类别比预测另一个类别更重要，这可以帮助您解释结果。
3. 混淆矩阵。一个表格，显示每个类别的预测数量与实际属于每个类别的实例数量的比较。这对于概览算法所犯错误的类型非常有用。

Weka分类性能摘要

回归性能摘要

在回归问题上评估机器学习算法时，您会得到许多不同的性能度量来审查。

值得注意的是，回归算法的性能摘要中有两点：

1. 相关系数。这表示预测与实际输出值关联或变化的程度。0是最差的值，1是完美关联的预测集。
2. 均方根误差。这是在测试集上以输出变量单位计算的平均误差量。此度量可帮助您了解给定预测平均可能错误的量。

Weka回归性能摘要

总结

在这篇文章中，您了解了如何在Weka中估计机器学习模型在未见数据上的性能。

具体来说，你学到了：

• 关于估计机器学习模型在未见数据上性能的重要性，这是预测建模的核心问题。
• 关于4种不同的测试选项以及何时使用它们，特别关注训练集和测试集分割以及K折交叉验证。
• 关于分类和回归问题的性能摘要以及需要关注的指标。

您对在Weka中估计模型性能或此帖子有任何疑问吗？请在评论中提出您的问题，我将尽力回答。

探索无需代码的机器学习！

在几分钟内开发您自己的模型

...只需几次点击

在我的新电子书中探索如何实现
使用 Weka 精通机器学习

涵盖自学教程和端到端项目，例如
加载数据、可视化、构建模型、调优等等...

最终将机器学习应用到你自己的项目中

跳过学术理论。只看结果。

查看内容