应用机器学习流程

解决预测建模问题的系统化流程
能够带来高于平均水平的结果

随着时间的推移，在处理应用机器学习问题的过程中，你会形成一种模式或流程，以快速获得良好且稳健的结果。

一旦形成，你可以在一个又一个项目上反复使用这个流程。你的流程越稳健、越成熟，你就能越快地获得可靠的结果。

在这篇文章中，我想与你分享我处理机器学习问题的流程框架。

你可以将其用作下一个项目的起点或模板。

五步系统化流程

我喜欢使用一个五步流程：

1. 1. 定义问题
2. 2. 准备数据
3. 3. 抽查算法
4. 4. 改进结果
5. 5. 呈现结果

这个流程有很大的灵活性。例如，“准备数据”这一步通常被分解为分析数据（总结和绘图）和准备数据（为实验准备样本）。“抽查算法”这一步可能涉及多个正式的实验。

这是一条我尽量以线性方式推进的庞大生产线。使用自动化工具的好处在于，你可以回退几步（比如从“改进结果”回到“准备数据”），插入一个新的数据集转换，然后重新运行中间步骤的实验，看看会产生什么有趣的结果，以及它们与你之前执行的实验有何不同。

生产线
照片由 East Capital 提供，保留部分权利

我使用的流程改编自标准的数据挖掘流程——数据库中的知识发现（或KDD）。更多详情请参见文章什么是数据挖掘和KDD。

1. 定义问题

我喜欢用一个三步流程来定义问题。我喜欢快速行动，并使用这个迷你流程从几个不同角度快速审视问题。

• 第1步：问题是什么？非正式地和正式地描述问题，并列出假设和类似的问题。
• 第2步：为什么需要解决这个问题？列出你解决问题的动机、解决方案带来的好处以及解决方案将如何被使用。
• 第3步：我将如何解决问题？描述如何手动解决问题，以充分利用领域知识。

你可以在这篇文章中了解更多关于这个流程的信息：

• 如何定义你的机器学习问题

2. 准备数据

在数据准备之前，我有一个数据分析阶段，包括总结属性并使用散点图和直方图进行可视化。我也喜欢详细描述每个属性以及属性之间的关系。这项基础工作迫使我在数据被算法处理之前，结合问题背景来思考数据。

实际的数据准备过程分为三步，如下所示：

• 第1步：数据选择：考虑哪些数据是可用的，哪些数据是缺失的，以及哪些数据可以被移除。
• 第2步：数据预处理：通过格式化、清洗和采样来组织你选择的数据。
• 第3步：数据转换：通过使用缩放、属性分解和属性聚合等特征工程方法，转换预处理后的数据，为机器学习做好准备。

你可以在这篇文章中了解更多关于准备数据的流程：

• 如何为机器学习准备数据

3. 抽查算法

我默认在我的测试框架中使用10折交叉验证。所有实验（算法和数据集的组合）都重复10次，收集并报告准确率的平均值和标准差。我还使用统计显著性检验来从噪声中筛选出有意义的结果。箱形图对于总结每个算法和数据集对的准确率结果分布非常有用。

我抽查算法，这意味着将一批标准的机器学习算法加载到我的测试框架中，并进行正式的实验。我通常会在我准备的所有转换和缩放版本的数据集上，运行来自所有主要算法家族的10-20种标准算法。

抽查的目标是筛选出那些擅长捕捉问题结构的算法和数据集组合，以便通过集中的实验进行更详细的研究。

在这一步中，可能会对表现良好的算法家族进行更集中的实验，但算法调优则留到下一步进行。

你可以在这篇文章中发现更多关于定义你的测试框架的信息：

• 如何评估机器学习算法

你可以在这篇文章中发现抽查算法的重要性：

• 为什么你应该在机器学习问题上抽查算法

4. 改进结果

抽查之后，就该从这个系统中榨取出最好的结果了。我通过对表现最佳的算法参数进行自动化的敏感性分析来做到这一点。我还设计并运行使用表现最佳算法的标准集成方法的实验。我投入大量时间思考如何从数据集或已被证明表现良好的算法家族中获得更多信息。

再次强调，结果的统计显著性在这里至关重要。人们很容易专注于方法并摆弄算法配置。只有当结果是显著的，并且所有配置都经过深思熟虑，实验是批量执行的，结果才有意义。我还喜欢为每个问题维护一个我自己的最佳结果排行榜。

总而言之，改进结果的过程包括：

• 算法调优：将发现最佳模型视为在模型参数空间中的搜索问题。
• 集成方法：将多个模型做出的预测进行组合。
• 极致的特征工程：将数据准备中看到的属性分解和聚合推向极限。

你可以在这篇文章中发现更多关于这个过程的信息：

• 如何改进机器学习结果

5. 呈现结果

一个复杂的机器学习问题的结果，除非被付诸实践，否则毫无意义。这通常意味着要向利益相关者进行演示。即使是比赛或者我为自己研究的问题，我仍然会走一遍呈现结果的流程。这是一个好习惯，能给我带来清晰的经验，以便下次可以借鉴。

我用来呈现结果的模板如下，它可以是文本文档、正式报告或演示幻灯片的形式。

• 背景（为什么）：定义问题存在的环境，并阐述研究问题的动机。
• 问题（是什么）：将问题简洁地描述为一个你着手去回答的问题。
• 解决方案（答案）：将解决方案简洁地描述为你对上一节提出的问题的回答。要具体。
• 发现：用项目符号列表列出你在过程中发现的、能引起听众兴趣的发现。这些可能是在数据中发现的，哪些方法有效或无效，或者你在过程中实现的模型性能提升。
• 局限性：考虑模型在哪些方面不起作用，或者模型没有回答哪些问题。不要回避这些问题，如果你能定义模型不擅长的领域，那么定义它擅长的领域会更可信。
• 结论（为什么+问题+答案）：用一个紧凑的小结重温“为什么”、研究问题和你发现的答案，这个小结便于自己和他人记忆和复述。

你可以在这篇文章中发现更多关于使用机器学习项目结果的信息：

• 如何使用机器学习结果

总结

在这篇文章中，你学习了处理机器学习问题的一般模板。

我几乎每次都使用这个流程，并且我在各种平台上都使用它，从Weka、R 和 scikit-learn，甚至到我一直在尝试的新平台，如 pylearn2。

你的流程是怎样的，留言分享一下吧？

你会复制这个流程吗？如果会，你会对它做哪些改动？