如何系统地规划和运行机器学习实验

机器学习实验可能需要很长时间。几个小时、几天，甚至在某些情况下是几周。

这为您提供了充足的时间来思考并规划要进行的额外实验。

此外，平均而言，一个应用机器学习项目可能需要进行几十到几百次独立的实验，才能找到一种数据准备模型和模型配置，从而获得良好或出色的性能。

实验耗时的特性意味着您需要仔细规划和管理您进行的实验的顺序和类型。

您需要有条理。

在这篇文章中，您将发现一种系统地规划和管理机器学习实验的简单方法。

通过这种方法，您将能够：

• 掌握项目中最重要的问题和发现。
• 跟踪您已完成的实验以及希望运行的实验。
• 聚焦于能够带来最佳性能的数据准备、模型和模型配置。

让我们开始吧。

如何系统地规划和运行机器学习实验
照片由 Qfamily 提供，保留部分权利。

数百次实验的混乱

我喜欢在夜间运行实验。大量的实验。

这样，当我醒来时，我可以检查结果，更新我关于哪些方法有效（哪些无效）的想法，然后启动下一轮实验，再花一些时间分析发现。

我讨厌浪费时间。

我讨厌运行那些无法让我更接近于在现有时间和资源下找到最优秀模型的既定目标。

很容易就会失去对当前进度的了解。尤其是在您已经从数百次实验中获得了结果、分析和发现之后。

糟糕的实验管理会导致糟糕的局面，例如：

• 您正在观看实验运行。
• 在当前一批实验结束后，您正试图想出要运行的好实验创意。
• 您运行了一个之前已经运行过的实验。

您永远不想陷入这些情况中的任何一种！

如果您做得很好，那么：

• 您一眼就能确切地知道自己运行了哪些实验以及其结果。
• 您有一长串要运行的实验，并按预期收益排序。
• 您有时间深入分析结果并构思新的、大胆的尝试。

但是，我们如何才能跟上数百次实验的进度呢？

系统地设计和运行实验

我发现一种帮助我系统地进行项目实验的方法是使用电子表格。

在电子表格中管理您已完成的、正在运行的和想要运行的实验。

它简单而有效。

简单

它之所以简单，是因为我和任何人都可以从任何地方访问它，并了解我们的进度。

我使用 Google Docs 来托管电子表格。

没有代码。没有笔记本。没有花哨的网络应用。

只有一个电子表格。

有效

它之所以有效，是因为它只包含所需信息，每个实验占一行，每条要跟踪的信息占一列。

已完成的实验可以与计划中的实验分开。

只有计划中的实验才会被设置和运行，并且它们的顺序确保了最重要的实验优先运行。

您会惊讶于这种简单的方法可以为您节省多少时间，并让您深入思考您的项目。

示例电子表格

让我们看一个例子。

我们可以想象一个具有以下列的电子表格。

这只是我上次项目中使用的示例。我建议根据自己的需求进行调整。

• 子项目：子项目可以是您正在探索的一组想法、一项技术、一次数据准备等等。
• 上下文：上下文可以是具体的目标，例如超越基线、调优、诊断等。
• 设置：设置是实验的固定配置。
• 名称：名称是唯一标识符，可能是脚本的文件名。
• 参数：参数是实验中被改变或关注的对象。
• 值：值是正在探索的参数值或值。
• 状态：状态是实验的状态，例如计划中、运行中或已完成。
• 技能：技能是项目中真正重要的北极星指标，如准确率或误差。
• 问题：问题是实验旨在解决的驱动性问题。
• 发现：发现是对实验结果的一句话总结，是对问题的答案。

为了具体说明，下面是带有这些列标题和虚构示例的 Google 文档电子表格的屏幕截图。

系统实验记录

我无法估量这种方法为我节省了多少时间。以及在追求获得最佳结果的过程中，它被证明是错误的假设的数量。

事实上，我发现深度学习方法通常对假设和默认设置相当不友好。设计实验时请牢记这一点！

最大限度地利用您的实验

以下是一些提示，可以帮助您在项目上充分利用这种简单的方法。

• 头脑风暴：花时间定期回顾发现，列出新的问题和实验来回答它们。
• 挑战：挑战假设和挑战先前的发现。扮演科学家，设计实验来证伪您的发现或期望。
• 子项目：在您跟踪线索或研究特定方法时，考虑使用子项目来构建您的研究。
• 实验顺序：使用行顺序作为优先级，以确保最重要的实验优先运行。
• 深入分析：将更深入的结果分析和汇总发现保存到另一个文档；电子表格不是进行此类操作的地方。
• 实验类型：不要害怕混合不同的实验类型，例如网格搜索、抽查和模型诊断。

当您做到以下几点时，就知道这种方法正在奏效：

• 您正在查阅 API 文档和论文，以获取更多可尝试的想法。
• 您已排队的实验数量远远超过了运行它们的资源。
• 您正在认真考虑租用更多的 EC2 实例。

总结

在这篇文章中，您学习了如何使用电子表格有效地管理已运行、正在运行和您想要运行的数百次实验。

您发现一个简单的电子表格可以帮助您：

• 跟踪您运行过的实验以及您的发现。
• 跟踪您想要运行的实验以及它们将回答哪些问题。
• 聚焦于您预测建模问题中最有效的数据准备、模型和模型配置。

您对这种方法有什么疑问吗？您自己做过类似的事情吗？
在下面的评论中告诉我。