机器学习开发环境

您用于机器学习的开发环境可能与您用于解决预测建模问题的机器学习方法同样重要。

每周几次，我都会收到类似这样的问题：

您的机器学习开发环境是什么？

在本文中，您将了解我为开发人员使用的并推荐的用于应用机器学习的开发环境。

阅读本文后，你将了解：

• 工作站和服务器硬件在机器学习中的作用之间的重要区别。
• 如何确保以可重复的方式安装和更新您的机器学习依赖项。
• 如何安全地开发机器学习代码并运行它，而不会引入新问题。

让我们开始吧。

机器学习开发环境
照片作者：Mohamed Aymen Bettaieb，部分权利保留。

您的机器学习开发环境看起来是怎样的？
在下面的评论中告诉我。

机器学习硬件

无论您是在学习机器学习还是正在为运营开发大型模型，您的工作站硬件都不会那么重要。

原因如下：

我不建议您在工作站上安装大型模型。

机器学习开发涉及大量的简短测试，以找出问题的初步答案，例如：

• 使用什么数据。
• 如何准备数据。
• 使用什么模型。
• 使用什么配置。

最终，您在工作站上的目标是找出要运行哪些实验。我称之为初步实验。对于您的初步实验，使用较少的数据：一小部分数据，使其能够满足您的硬件能力。

较大的实验需要数分钟、数小时甚至数天才能完成。它们应该在工作站以外的大型硬件上运行。

这可能是一个服务器环境，如果您正在使用深度学习方法，可能带有 GPU 硬件。此硬件可能由您的雇主提供，或者您可以像 AWS 一样在云端廉价租用。

确实，您的工作站 (CPU) 速度越快，工作站拥有的容量 (RAM) 越多，您可以运行的初步小实验就越多或越大，并且您可以从较大的实验中获得更多收益。因此，请获取您能获得的最好的硬件，但总的来说，请使用您拥有的。

我本人喜欢大型 Linux 机器，拥有大量的 RAM 和大量的核心，用于严肃的研发。对于日常工作，我喜欢 iMac，同样拥有尽可能多的核心和尽可能多的 RAM。

总结一下：

• 工作站。使用一小部分数据进行工作，找出要运行的大型实验。
• 服务器。运行需要数小时或数天的大型实验，帮助您找出要在运营中使用什么模型。

安装机器学习依赖项

您必须为您进行机器学习开发安装库依赖项。

这主要是您正在使用的库。

在 Python 中，这可能是 Pandas、scikit-learn、Keras 等。在 R 中，这是所有包，可能还有 caret。

不仅要安装依赖项，还应该有一个可重复的过程，以便您可以在几秒钟内重新设置开发环境，例如在新工作站和新服务器上。

我建议使用包管理器和脚本，例如 shell 脚本来安装所有内容。

在我的 iMac 上，我使用 macports 来管理已安装的软件包。我认为我有两个脚本：一个用于在新 Mac 上安装所有必需的软件包（例如，在工作站或笔记本电脑升级后），另一个脚本专门用于更新已安装的软件包。

库一直在更新中，包含错误修复，因此第二个脚本用于更新特定安装的库（及其依赖项）是关键。

这些是我随时可以运行的 shell 脚本，并且我会在需要安装新库时更新它们。

如果您在设置环境方面需要帮助，其中一个教程可能会有所帮助。

• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境
• 如何在 Mac OS X 上为机器学习和深度学习安装 Python 3 环境
• 如何使用 Python 3 创建用于机器学习开发的 Linux 虚拟机

您可能希望将事物的可重复环境提升到一个新的水平，例如使用像 Docker 这样的容器，或者维护您自己的虚拟化实例。

总结一下：

• 安装脚本。维护一个脚本，您可以使用它来重新安装开发环境所需的所有内容。
• 更新脚本。维护一个脚本来更新机器学习开发的所有关键依赖项，并定期运行它。

机器学习编辑器

我推荐一个非常简单的编辑环境。

机器学习开发中的艰苦工作不是写代码；而是处理前面提到的未知情况。未知情况，例如：

• 使用什么数据。
• 如何准备数据。
• 使用什么算法。
• 使用什么配置。

写代码是件容易的事，特别是因为您很可能从现代机器学习库中使用现有的算法实现。

因此，您不需要花哨的 IDE；它不会帮助您解决这些问题。

相反，我建议使用一个非常简单的文本编辑器，它提供基本的代码高亮显示。

我个人使用并推荐 Sublime Text，但任何类似的文本编辑器都能很好地工作。

机器学习文本编辑器示例

一些开发人员喜欢使用笔记本，例如 Jupyter。我不使用也不推荐它们，因为我发现这些环境在开发方面存在挑战；它们可能会隐藏错误并为开发引入依赖项怪异。

对于学习机器学习和机器学习开发，我建议编写可以直接从命令行或 shell 脚本运行的脚本或代码。

例如，R 脚本和 Python 脚本可以使用各自的解释器直接运行。

运行机器学习模型示例

有关如何从命令行运行实验的更多建议，请参阅帖子：

• 如何在Linux服务器上运行深度学习实验

一旦您有了最终的模型（或一组预测），您就可以使用项目标准的开发工具将其集成到您的应用程序中。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

• 机器学习的计算机硬件
• 如何在 Amazon Web Services 上使用 Keras 开发和评估大型深度学习模型
• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境
• 如何在 Mac OS X 上为机器学习和深度学习安装 Python 3 环境
• 如何使用 Python 3 创建用于机器学习开发的 Linux 虚拟机
• 如何在Linux服务器上运行深度学习实验

总结

在本文中，您了解了用于机器学习开发的硬件、依赖项和编辑器。

具体来说，你学到了：

• 工作站和服务器硬件在机器学习中的作用之间的重要区别。
• 如何确保以可重复的方式安装和更新您的机器学习依赖项。
• 如何安全地开发机器学习代码并运行它，而不会引入新问题。

您的机器学习开发环境看起来是怎样的？
在下面的评论中告诉我。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。