机器学习性能改进速查表

32个技巧、窍门和方法，助你做出更好的预测。

机器学习最有价值的部分是预测建模。

这是指开发在历史数据上训练并对新数据进行预测的模型。

而关于预测建模的首要问题是：

我怎样才能获得更好的结果？

这份速查表包含了我多年实践以及研究顶级机器学习从业者和竞赛获胜者后提炼出的最佳建议。

通过本指南，您不仅能摆脱困境、提升性能，甚至可能在您的预测问题上取得世界级的结果。

让我们开始吧。

注意，本指南的结构基于一篇早期指南，您可能会发现它对于提高深度学习性能很有用，题为：如何提高深度学习性能。

机器学习性能改进速查表
照片由 NASA 提供，保留部分权利。

概述

这份速查表旨在为您提供提升机器学习问题性能的思路。

只需一个好点子，就能带来突破。

找到那个点子，然后再回来寻找下一个。

我已将列表分为4个子主题：

1. 通过数据提升性能。
2. 通过算法提升性能。
3. 通过算法调优提升性能。
4. 通过集成方法提升性能。

通常，越往列表下方，性能提升的幅度会越小。

例如，对问题进行新的框架设定或获取更多数据，通常比调整表现最佳算法的参数带来的回报更大。并非总是如此，但通常是这样。

1. 通过数据提升性能

通过改变训练数据和问题定义，您可以获得巨大的性能提升。甚至可能是最大的提升。

策略：为您的数据创建新的、不同的视角，以便最好地向学习算法揭示潜在问题的结构。

数据策略

• 获取更多数据。您能获取更多或质量更好的数据吗？ 像深度学习这样的现代非线性机器学习技术，会随着数据量的增加而持续提升性能。
• 创造更多数据。如果无法获取更多数据，您能生成新数据吗？ 也许您可以增强或排列现有数据，或使用概率模型生成新数据。
• 清洗您的数据。您能提高数据中的信号质量吗？ 也许有缺失或损坏的观测值可以被修复或移除，或者超出合理范围的异常值可以被修复或移除，以提升数据质量。
• 重采样数据。您能通过重采样来改变数据的大小或分布吗？ 也许您可以使用一个更小的数据样本来进行实验以加快速度，或者对特定类型的观测值进行过采样或欠采样，以便在数据集中更好地表示它们。
• 重构您的问题：您能改变您正在解决的预测问题的类型吗？ 将您的数据重构为回归、二分类或多分类、时间序列、异常检测、评级、推荐系统等类型的问题。
• 重新缩放您的数据。您能对数值型输入变量进行重新缩放吗？ 对输入数据进行归一化和标准化可以提升使用加权输入或距离度量的算法的性能。
• 转换您的数据。您能重塑您的数据分布吗？ 使输入数据更接近高斯分布，或通过指数函数处理数据，可能能更好地向学习算法揭示数据中的特征。
• 投影您的数据：您能将数据投影到更低维度的空间吗？ 您可以使用无监督聚类或投影方法来创建一个全新的、压缩的数据集表示。
• 特征选择。所有输入变量都同等重要吗？ 使用特征选择和特征重要性方法来创建数据的新视图，并用建模算法进行探索。
• 特征工程。您能创建并添加新的数据特征吗？ 也许有些属性可以分解为多个新值（如类别、日期或字符串），或者有些属性可以聚合起来表示一个事件（如计数、二元标志或统计摘要）。

结果：现在您应该有一系列新的数据集视图和版本。

下一步：您可以使用预测建模算法来评估每个视图和版本的价值。

2. 通过算法提升性能

机器学习的核心是算法。

策略：识别出那些性能优于基准且好于平均水平的算法和数据表示。对结果保持怀疑态度，并设计实验以避免自我欺骗。

算法策略

• 重采样方法。使用何种重采样方法来估计在新数据上的技能？ 使用一种能够充分利用现有数据的方法和配置。带有留出验证数据集的k折交叉验证可能是一种最佳实践。
• 评估指标。使用什么指标来评估预测的技能？ 使用一个最能反映问题和领域需求的指标。它可能不是分类准确率。
• 基准性能。用于比较算法的基准性能是什么？ 使用随机算法或零规则算法（预测均值或众数）来建立一个基准，以便对所有评估的算法进行排名。
• 抽查线性算法。哪些线性算法效果好？ 线性方法通常偏差较大，易于理解且训练速度快。如果能取得好结果，它们是首选。评估一组多样化的线性方法。
• 抽查非线性算法。哪些非线性算法效果好？ 非线性算法通常需要更多数据，复杂度更高，但可以达到更好的性能。评估一组多样化的非线性方法。
• 借鉴文献。文献中报道了哪些算法在您的问题上效果好？ 也许您可以从中获得算法类型或经典方法扩展的思路，以便在您的问题上进行探索。
• 标准配置。正在评估的算法的标准配置是什么？ 每个算法都需要有机会在您的问题上表现出色。这并不意味着（现在）要调整参数，而是意味着要研究如何良好地配置每个算法，并使其在算法竞赛中有一战之力。

结果：现在您应该有一个表现良好的算法和数据表示的简短列表。

下一步：下一步是通过算法调优来提升性能。

3. 通过算法调优提升性能

算法调优可能是您花费时间最多的地方。它可能非常耗时。您通常可以通过抽查快速发现一两个表现良好的算法。而要从这些算法中获得最佳性能，可能需要几天、几周甚至几个月的时间。

策略：充分发挥表现良好的机器学习算法的潜力。

调优策略

• 诊断。您可以查看关于算法的哪些诊断信息？ 也许您可以查看学习曲线来了解该方法是过拟合还是欠拟合问题，然后进行修正。不同的算法可能提供不同的可视化和诊断工具。检查算法在哪些地方预测正确，哪些地方预测错误。
• 尝试直觉。您的直觉告诉您什么？ 如果您花足够长的时间调整参数并且反馈周期短，您可能会对如何在一个问题上配置算法产生直觉。试试看，看您能否想出新的参数配置，在您更大的测试平台上进行尝试。
• 借鉴文献。文献中使用了哪些参数或参数范围？ 评估标准参数的性能是任何调优活动的良好起点。
• 随机搜索。哪些参数可以使用随机搜索？ 也许您可以使用算法超参数的随机搜索来发现您从未想过要尝试的配置。
• 网格搜索。哪些参数可以使用网格搜索？ 也许有标准超参数值的网格，您可以通过枚举来找到好的配置，然后用越来越精细的网格重复这个过程。
• 优化。您可以优化哪些参数？ 也许有些参数，如结构或学习率，可以使用直接搜索过程（如模式搜索）或随机优化（如遗传算法）进行调整。
• 其他实现。该算法还有哪些可用的实现？ 也许该方法的其他实现可以在相同数据上取得更好的结果。每个算法都有无数微小的决策必须由算法实现者做出。其中一些决策可能会影响您问题的性能。
• 算法扩展。该算法有哪些常见的扩展？ 也许您可以通过评估该方法的常见或标准扩展来提升性能。这可能需要一些实现工作。
• 算法定制。针对您的具体情况，可以对算法进行哪些定制？ 也许您可以为您的数据对算法进行修改，从损失函数、内部优化方法到算法特定的决策。
• 联系专家。在您的情况下，算法专家推荐什么？ 写一封简短的电子邮件，总结您的预测问题以及您已经尝试过的方法，发送给一位或多位该算法领域的专家学者。这可能会揭示前沿工作或您之前不知道的学术工作，带来新的或新鲜的想法。

结果：现在，您应该有一个在您的机器学习问题上经过高度调优的算法的简短列表，甚至可能只有一个。

下一步：此时可以最终确定一个或多个模型，并用于进行预测或投入生产。通过结合多个模型的预测，可以进一步提升性能。

4. 通过集成方法提升性能

您可以结合多个模型的预测。在算法调优之后，这是下一个大的改进领域。事实上，您通常可以通过结合多个“足够好”的模型的预测来获得良好性能，而不是依赖于多个高度调优（且脆弱）的模型。

策略：结合多个表现良好模型的预测。

集成策略

• 混合模型预测。您能直接组合多个模型的预测吗？ 也许您可以使用相同或不同的算法来构建多个模型。取多个表现良好模型的预测的平均值或众数。
• 混合数据表示。您能将在不同数据表示上训练的模型的预测结合起来吗？ 您可能有许多不同的问题投影，可以用来训练表现良好的算法，然后将它们的预测结合起来。
• 混合数据样本。您能将在不同数据视图上训练的模型结合起来吗？ 也许您可以创建训练数据的多个子样本，并训练一个表现良好的算法，然后结合预测。这被称为自举汇聚（bootstrap aggregation）或 bagging，当每个模型的预测都很有技巧但方式不同（不相关）时效果最好。
• 修正预测。您能修正表现良好模型的预测吗？ 也许您可以明确地修正预测，或者使用像 boosting 这样的方法来学习如何修正预测错误。
• 学习如何组合。您能使用一个新模型来学习如何最好地组合多个表现良好模型的预测吗？ 这被称为堆叠泛化（stacked generalization）或堆叠（stacking），当子模型有技巧但方式不同，并且聚合器模型是预测的简单线性加权时，通常效果很好。这个过程可以重复多层。

结果：您应该有一个或多个表现良好模型的集成，其性能优于任何单个模型。

下一步：此时可以最终确定一个或多个集成模型，并用于进行预测或投入生产。

结束语

这份速查表充满了可以尝试用来提升问题性能的想法。

如何开始

您不需要做所有的事情。您只需要一个好点子来获得性能提升。

以下是如何应对信息过载的方法：

1. 选择一个类别
   1. 数据。
   2. 算法。
   3. 调优。
   4. 集成。
2. 从该类别中选择一种方法。
3. 选择所选方法中的一件事来尝试。
4. 比较结果，如果有改进就保留。
5. 重复。

分享您的结果

您觉得这篇文章有用吗？
您是否找到了那个带来改变的一个想法或方法？

请告诉我，留个言！我很想听听您的经历。