在评估机器学习算法时如何选择正确的测试选项

你在评估机器学习算法时所使用的测试选项，可能决定了你是过度学习、得到一个平庸的结果，还是得到一个你可以自信地向全世界宣告的可用、顶尖的结果（有时你真的会有这种冲动）。

在这篇文章中，你将发现可以在算法评估测试工具中使用的标准测试选项，以及下次如何选择正确的选项。

随机性

选择正确测试选项的困难根源在于随机性。大多数（几乎所有）机器学习算法都以某种方式使用随机性。这种随机性可能在算法中是显式的，也可能在于为训练算法而选择的数据样本中。

随机性
照片由 afoncubierta 拍摄，保留部分权利

这并不意味着算法会产生随机结果，而是意味着它们产生的结果带有一定的噪声或方差。我们将这种有限的方差称为随机性，而利用它的算法称为随机算法。

在相同数据上训练和测试

如果你有一个数据集，你可能想用这个数据集来训练模型，然后报告模型在该数据集上的结果。这就是模型的优劣，对吧？

这种评估算法方法的问题在于，你确实会知道算法在数据集上的表现，但无法得知该算法在模型未曾训练过的数据（即所谓的未见数据）上的表现如何。

只有当你想用这个模型对未见数据进行预测时，这一点才重要。

划分测试

使用一个数据集既能训练模型，又能估计算法在未见数据上的表现，一个简单的方法是划分数据集。你取一个数据集，将其划分为训练数据集和测试数据集。例如，你随机选择66%的实例用于训练，剩下的34%作为测试数据集。

算法在训练数据集上运行，创建一个模型，并在测试数据集上进行评估，你会得到一个性能准确率，比如说87%的分类准确率。

当数据量很大，或者训练模型成本很高（无论是资源还是时间）时，划分测试速度很快，效果也很好。在非常大的数据集上进行划分测试，可以对算法的实际性能产生准确的估计。

算法在数据上的表现有多好？我们能自信地说它能达到87%的准确率吗？

一个问题是，如果我们再次将训练数据集以不同的66%/34%比例划分，我们的算法会得到不同的结果。这被称为模型方差。

多次划分测试

解决划分测试在不同数据集划分上得到不同结果的问题的一个方法是，减少随机过程的方差，并多次进行。我们可以收集相当多次运行（比如10次）的结果，然后取平均值。

例如，假设我们按66%/34%的比例划分数据集，运行算法得到一个准确率，然后我们用10次不同的划分重复这个过程10次。我们可能会得到10个准确率分数，如下所示：87, 87, 88, 89, 88, 86, 88, 87, 88, 87。

我们模型的平均性能是87.5，标准差约为0.85。

抛硬币
照片由 ICMA Photos 拍摄，保留部分权利

多次划分测试的一个问题是，可能有些数据实例从未被包含在训练或测试中，而其他实例可能被多次选中。这可能会扭曲结果，并且可能无法给出算法准确率的有意义的概念。

交叉验证

确保每个实例被用于训练和测试的次数相等，同时减少准确率分数的方差，一个解决方案是使用交叉验证。具体来说是k折交叉验证，其中k是数据集划分的份数。

例如，我们选择k=10（非常常见）。这会将数据集分成10份（10折），算法将运行10次。每次算法运行时，它将在90%的数据上进行训练，在10%的数据上进行测试，并且每次运行算法时，用于测试的10%数据都会更换。

在这个例子中，每个数据实例将恰好被用作训练实例9次，用作测试实例1次。准确率将不再是平均值和标准差，而是一个确切的准确率分数，表示做出了多少个正确的预测。

k折交叉验证是评估算法在数据集上性能的首选方法。你需要选择一个k值，为你的算法提供大小合适的训练集和测试集。比例不能太不协调（训练集或测试集太大或太小）。如果你的数据量非常大，你可能不得不采用数据抽样或回归到划分测试的方法。

交叉验证确实能对算法在未见数据上的性能给出无偏估计，但如果算法本身使用了随机性呢？每次使用不同的随机数种子（伪随机序列的起点）进行训练时，算法会对相同的训练数据产生不同的结果。交叉验证没有考虑到算法预测中的方差。

另一个值得关注的点是，交叉验证本身也使用随机性来决定如何将数据集划分为k折。交叉验证并没有估计算法在不同折组合下的表现。

只有当你想了解算法在数据集上的鲁棒性时，这一点才重要。

多次交叉验证

考虑算法本身方差的一个方法是多次运行交叉验证，并计算每次运行中算法准确率的均值和标准差。

这将给你一个算法在数据集上性能的估计，以及性能鲁棒性（标准差的大小）的估计。

如果你有一个算法A的均值和标准差，以及另一个算法B的均值和标准差，并且它们不同（例如，算法A的准确率更高），你如何知道这种差异是否有意义？

只有当你想比较不同算法的结果时，这一点才重要。

统计显著性

在多次运行k折交叉验证时，比较算法性能度量的一个解决方案是使用统计显著性检验（比如学生t检验）。

多次k折交叉验证的结果是一组数字。我们喜欢用均值和标准差来总结这些数字。你可以把这些数字看作是从一个潜在总体中抽取的样本。统计显著性检验回答了这样一个问题：两个样本是否来自同一总体？（没有差异）。如果答案是“是”，那么，即使均值和标准差不同，这种差异也可以说是不具有统计显著性的。

当使用多次运行（如使用不同随机数种子的多次k折交叉验证）时，我们可以利用统计显著性检验来赋予算法结果之间差异（或无差异）的意义。这在我们想要对结果做出准确声明时（例如，算法A优于算法B，且差异具有统计显著性）非常有用。

故事到这里还没有结束，因为有不同的统计显著性检验（参数检验和非参数检验）以及这些检验的参数（p值）。我就此打住，因为如果你能跟到这里，你现在已经对选择测试选项以产生严谨（可发表！）的结果有了足够的了解。

总结

在这篇文章中，你发现了在设计测试工具以评估机器学习算法时，可用的主要测试选项之间的区别。

具体来说，你了解了以下方法的效用和问题：

• 在同一数据集上训练和测试
• 划分测试
• 多次划分测试
• 交叉验证
• 多次交叉验证
• 统计显著性

如有疑问，请使用k折交叉验证（k=10），当你想要有意义地比较你的数据集上的算法时，请使用多次k折交叉验证和统计显著性检验。