一种数据驱动的机器学习算法选择方法

如果你知道该使用哪种算法或算法配置，
你就不需要使用机器学习了。

不存在最佳的机器学习算法或算法参数。

我希望帮你摆脱这种寻找“银弹”的思维模式。

我经常看到这类问题，甚至每天都能看到：

• 哪种是最好的机器学习算法？
• 机器学习算法与问题之间有什么对应关系？
• 机器学习算法的最佳参数是什么？

这些问题都遵循一种模式。

通常你事先并不知道，也无法知道这些问题的答案。你必须通过实证研究来发现它。

虽然有一些笼统的启发式方法可以回答这些问题，但如果你想从某个算法或问题中获得最佳效果，即使是这些方法也可能会让你陷入困境。

在这篇文章中，我希望鼓励你摆脱这种思维定式，掌握一种数据驱动的方法，它将改变你处理机器学习的方式。

数据驱动的机器学习方法
照片由 James Cullen 拍摄，保留部分权利

最佳机器学习算法

有些算法比其他算法更“强大”。它们可能是非参数的、高度灵活和自适应的，或者高度自调优的，甚至是以上所有特点的结合。

通常，这种强大性是有代价的，比如实现困难、需要非常大的数据集、可扩展性有限，或者系数过多可能导致过拟合。

随着数据集越来越大，人们重新对那些扩展性好、性能优异的简单方法产生了兴趣。

哪种算法是最好的，是你应该总是尝试并花费最多时间学习的算法？

我可以列出一些名字，但最明智的答案是“没有”和“所有”。

没有最佳机器学习算法

你无法先验地知道哪种算法最适合你的问题。

再读一遍上面的那句话。好好思考一下。

好好思考一下。

• 你可以应用你最喜欢的算法。
• 你可以应用书本或论文中推荐的算法。
• 你可以应用当前赢得最多 Kaggle 比赛的算法。
• 你可以应用最适合你的测试平台、基础设施、数据库或其他任何东西的算法。

这些都是偏见。

它们是节省时间的思维捷径。其中一些实际上可能是非常有用的捷径，但哪些是呢？

根据定义，偏见会限制你能够达成的解决方案、你能够实现的准确度，并最终限制你能够产生的影响。

算法与问题的映射

存在通用类型的问题，比如像分类和回归这样的监督学习问题，以及像流形学习和聚类这样的无监督学习问题。

在机器学习的子领域中，如计算机视觉、自然语言处理和语音处理，存在这些问题的更具体实例。我们也可以反向思考，更抽象地将所有这些问题视为函数逼近和函数优化的实例。

你可以将算法映射到问题类别，例如，有些算法可以处理监督回归问题和监督分类问题，以及这两种类型的问题。

你还可以构建算法目录，这可能有助于启发你尝试哪些算法。

你可以在一个问题上对算法进行竞赛并报告结果。这有时被称为“比试”（bake-off），在一些会议论文中用于介绍新算法。

算法结果的可迁移性有限

通常，算法竞赛是反智的。它很少是科学严谨的（无法做到公平比较）。

算法竞赛的一个关键问题是，你无法轻易地将一个问题的发现迁移到另一个问题上。如果你相信这个说法是真的，那么阅读论文和博客中关于算法竞赛的内容并不能告诉你应该在你的问题上尝试哪种算法。

如果算法 A 在问题 X 上完胜算法 B，这能告诉你关于算法 A 和 B 在问题 Y 上的表现吗？你必须努力去关联问题 X 和 Y。它们是否具有相同或相似的属性（特征、特征分布、函数形式），而这些属性被所研究的算法所利用？这是一项艰巨的工作。

我们对于何时一种机器学习算法比另一种更好并没有细致入微的理解。

最佳算法参数

机器学习算法是参数化的，以便你可以根据你的问题调整它们的行为和结果。

问题在于，“如何”进行调整很少（如果曾经有的话）被解释清楚。通常，即使是算法开发者自己也对此理解甚少。

通常，带有随机元素的机器学习算法是复杂系统，必须作为复杂系统来研究。一阶效应——参数对复杂系统的影响可能有所描述。如果是这样，你可能会有一些关于如何配置算法作为一个系统的启发式方法。

未知的是二阶效应，即它会对你的结果产生什么影响。有时你可以笼统地谈论参数对算法作为一个系统的影响，以及这如何转化为各类问题，但通常不行。

没有最佳算法参数

新的算法配置集实际上是新的算法实例，供你用来挑战你的问题（尽管它们能达到的结果相对受限或相似）。

你无法先验地知道适合你问题的最佳算法参数。

• 你可以使用开创性论文中使用的参数。
• 你可以使用书中提到的参数。
• 你可以使用 Kaggle 上“我是如何做到的”帖子中列出的参数。

很好的经验法则。对吗？也许是，也许不是。

数据驱动方法

我们不必陷入绝望的深渊。我们成为科学家。

你有一些偏见，可以简化算法选择和算法参数选择的决策过程。我们认为，在许多情况下，它们可以很好地为你服务。

我希望你挑战这一点，考虑放弃启发式方法和最佳实践，采用一种数据驱动的算法选择方法。

与其选择你最喜欢的算法，不如尝试10或20种算法。

在那些表现出更好性能、鲁棒性、速度或任何你最感兴趣的方面的算法上加倍投入。

与其选择常用参数，不如网格搜索数十、数百或数千种参数组合。

成为客观的科学家，抛弃传闻轶事，研究复杂学习系统与来自你问题领域的数据观测之间的交集。

实践中的数据驱动方法

这是一种强大的方法，需要较少的前期知识，但需要更多的后端计算和实验。

因此，你很可能需要使用数据集的一个较小样本，以便能快速得到结果。你会希望有一个你完全信任的测试框架。

旁注：你如何能完全信任你的测试框架？

通过以数据驱动的方式选择测试选项，你可以建立信任，这会让你客观地相信你选择的配置是可靠的。这包括评估方法的类型（划分、boosting、k-折交叉验证等）及其配置（k的大小等）。

快速稳健的结果

你能够快速获得好的结果。

如果随机森林是你最喜欢的算法，你可能会花费数天或数周的时间徒劳地试图从该算法中为你的问题榨取最大价值，而你的问题可能从一开始就不适合该方法。通过数据驱动的方法，你可以及早排除（相对）表现不佳的算法。你可以快速失败。

不退回到偏见和最喜欢的算法与配置上需要纪律。获得良好且稳健的结果需要努力工作。

结果是，你不再关心算法的炒作，它只是你抽查套件中包含的另一种方法。你不再为是否因为没有使用算法 X 或 Y 或配置 A 或 B 而错过什么而烦恼（害怕损失），你把它们都扔进混合中去尝试。

利用自动化

数据驱动方法是一个搜索问题。你可以利用自动化。

你可以编写可重用的脚本，在开始之前为你的问题搜索最可靠的测试框架。不再需要临时猜测。

你可以编写一个可重用的脚本，自动尝试来自各种库和实现方式的10、20、100种算法。不再有偏爱的算法或库。

不同算法之间的界限消失了。一个新的参数配置就是一个新的算法。你可以编写可重用的脚本，对每个算法进行网格或随机搜索，以真正地采样其能力。

在前端添加特征工程，这样数据的每一个“视角”都成为算法需要挑战的新问题。在末端附加集成模型，以组合部分或全部结果（元算法）。

我曾深入研究过这个领域。这是一种强大的思维模式，并且能得到稳健的结果。

总结

在这篇文章中，我们探讨了选择算法和算法参数的常用启发式和最佳实践方法。

我们认为这种方法限制了我们的思维。我们渴望找到通用的“银弹”——最佳算法和最佳算法配置，而这样的东西并不存在。

• 不存在通用的最佳机器学习算法。
• 不存在通用的最佳机器学习算法参数。
• 算法的能力从一个问题迁移到另一个问题的可转移性是值得怀疑的。

解决方案是成为科学家，研究算法在我们具体问题上的表现。

我们必须采用数据驱动的方法来解决问题，抽查算法，网格搜索算法参数，并快速找到能够可靠、快速地产生良好结果的方法。