将您的预测模型部署到生产环境

运营机器学习的5个最佳实践。

并非所有的预测模型都达到了谷歌的规模。

有时，您会开发一个想要放入软件中的小型预测模型。

我最近收到了这个读者问题

实际上，我对机器学习的知识中缺少一部分。所有的教程都会告诉你直到你建立机器学习模型的步骤。那么你该如何使用这个模型呢？

在这篇文章中，我们将探讨一些最佳实践，以简化您的模型向生产环境的过渡，并确保您能从中获得最大收益。

如何将您的预测模型部署到生产环境
照片由 reynermedia 拍摄，保留部分权利。

我有一个模型。现在该怎么办？

所以，您已经通过一个系统化的过程，创建了一个可靠且准确的模型，可以为您的问题做出预测。

您想以某种方式使用这个模型。

• 也许您想创建一个可以进行即席预测的独立程序。
• 也许您想将该模型整合到您现有的软件中。

让我们假设您的软件规模不大。您不是在寻求谷歌规模的部署。也许只是为了您自己，也许只是为了一个客户，或者只是为了几台工作站。

到目前为止一切顺利吗？

现在我们需要了解一些最佳实践，将您准确可靠的模型投入运营。

5个模型部署最佳实践

为什么不直接把模型塞进您的软件然后发布呢？

您可以这样做。但通过增加几个额外的步骤，您可以建立信心，确保您部署的模型是可维护的，并且能够长期保持准确性。

您是否曾将模型投入生产环境？
请留言分享您的经验。

以下是您在将预测模型部署到生产环境时可以采取的五个最佳实践步骤。

1. 指定性能要求

您需要清楚地说明什么是好的性能和坏的性能。

这可能是准确率、假阳性率或任何对业务重要的指标。

详细说明，并使用您当前开发的模型作为基准数据。

随着您改进系统，这些数据可能会随时间增加。

性能要求很重要。没有它们，您将无法设置所需的测试来确定系统是否按预期运行。

在您就最低、平均或性能范围预期达成一致之前，不要继续进行。

2. 将预测算法与模型系数分离

您可能使用了某个库来创建您的预测模型。例如，R、scikit-learn 或 Weka。

您可以选择使用该库部署您的模型，或者在您的软件中重新实现模型的预测部分。您甚至可能想将您的模型设置为 Web 服务。

无论如何，将进行预测的算法与模型内部结构（即从训练数据中学到的特定系数或结构）分离开来是一个好的做法。

2a. 选择或实现预测算法

机器学习算法的复杂性通常在于模型训练，而不在于进行预测。

例如，使用回归算法进行预测非常直接，并且很容易在您选择的语言中实现。这是一个明显的例子，应该重新实现算法，而不是依赖于模型训练时使用的库。

如果您决定使用库来进行预测，请熟悉其 API 和依赖关系。

用于进行预测的软件就像您应用程序中的所有其他软件一样。

像对待软件一样对待它。

良好地实现它，编写单元测试，使其健壮。

2b. 序列化您的模型系数

让我们将模型学到的数字或结构称为：系数。

这些数据不是您应用程序的配置。

像对待软件配置一样对待它。

将其存储在软件项目的外部文件中。进行版本控制。像对待代码一样对待配置，因为它同样容易破坏您的项目。

当您改进模型时，很可能将来需要更新此配置。

3. 为您的模型开发自动化测试

您需要自动化测试来证明您的模型按预期工作。

在软件领域，我们称这些为回归测试。它们确保软件在未来我们对系统不同部分进行更改时，其行为不会出现退化。

为您的模型编写回归测试。

• 收集或贡献一小部分数据样本用于进行预测。
• 使用生产环境的算法代码和配置进行预测。
• 在测试中确认结果符合预期。

这些测试是您的早期预警。如果它们失败，您的模型就坏了，您不能发布使用该模型的软件或功能。

让测试严格执行模型的最低性能要求。

我强烈建议，除了您想要包含的任何领域原始数据集外，还要设计一些您非常理解的测试用例。

我还强烈建议随着时间的推移，从运营中收集那些产生意外结果（或破坏系统）的异常和有趣案例。这些案例应该被理解并添加到回归测试套件中。

在每次代码更改后和每次发布前运行回归测试。每晚运行它们。

4. 开发回测和现时测试基础设施

模型会改变，软件和用于预测的数据也会改变。

您希望自动化评估具有指定配置的生产模型在大量数据上的表现。

这将使您能够有效地在历史数据上回测模型的更改，并确定您是否真正取得了改进。

这不是您可能用于超参数调优的小数据集，而是可用的全套数据，可能按月、年或其他重要标志进行分区。

• 运行当前的运营模型以确定基线性能。
• 运行新模型，竞争进入运营的机会。

设置好后，每晚或每周运行一次，并让它自动生成报告。

接下来，添加一个现时测试（Now-Test）。

这是对生产模型在最新数据上的测试。

也许是今天、本周或本月的数据。其目的是及早预警生产模型可能正在失效。

这可能是由内容漂移引起的，即您的模型所利用的数据中的关系随着时间的推移而微妙地变化。

这个现时测试也可以生成报告，并在性能低于最低性能要求时（通过电子邮件）发出警报。

5. 挑战然后试用模型更新

您将需要更新模型。

也许您设计了一种全新的算法，需要新的代码和新的配置。重新审视以上所有要点。

一个更小且更易于管理的更改是模型系数。例如，也许您设置了一个网格搜索或随机搜索模型超参数，每晚运行并产生新的候选模型。

您应该这样做。

测试模型并持高度批判态度。给新模型每一个出错的机会。

使用上面第4点中的回测和现时测试基础设施评估新模型的性能。仔细审查结果。

使用回归测试评估更改，作为最后的自动化检查。

测试使用该模型的软件功能。

为了降低风险，也许可以将更改推广到某些地区或在测试版中发布以获取反馈。

一旦您满意新模型满足最低性能要求并优于先前结果，就接受它。

就像一个棘轮，随着模型性能的提高，考虑逐步提高性能要求。

总结

将一个小模型添加到运营软件中是非常可行的。

在这篇文章中，您发现了5个步骤，以确保您覆盖了所有基础并遵循了良好的工程实践。

总而言之，这些步骤是

1. 指定性能要求。
2. 将预测算法与模型系数分离。
3. 为您的模型开发回归测试。
4. 开发回测和现时测试基础设施。
5. 挑战然后试用模型更新。

如果您对运营机器学习模型的更多信息感兴趣，请查看这篇文章

• 构建生产级机器学习基础设施

这更多是关于谷歌规模的机器学习模型部署。观看提到的视频，并查阅有关 AirBnB 和 Etsy 生产流水线的精彩链接。

您对这篇文章或将模型投入生产环境有任何疑问吗？
在评论中提出您的问题，我会尽力回答。