如何使用亚马逊云服务（Amazon Web Services）在云端训练 XGBoost 模型

XGBoost 库提供了梯度提升的实现，旨在提高速度和性能。

它被设计用来最大限度地利用您的计算资源，包括所有 CPU 核心和内存。

在这篇文章中，您将了解如何在 Amazon 云服务上设置服务器，以快速、经济地创建非常大的模型。

阅读本文后，您将了解

• 如何设置和配置 Amazon EC2 服务器实例以与 XGBoost 配合使用。
• 如何确认 XGBoost 的并行功能在您的服务器上正常运行。
• 如何将数据和代码传输到您的服务器并训练一个非常大的模型。

通过我的新书《XGBoost With Python》启动您的项目，其中包括所有示例的分步教程和 Python 源代码文件。

让我们开始吧。

• 更新于 2020 年 5 月：已更新说明。

如何使用亚马逊云服务（Amazon Web Services）在云端训练 XGBoost 模型
照片作者：Dennis Jarvis，部分权利保留。

教程概述

过程非常简单。下面是我们将在本教程中完成的步骤的概述。

1. 设置您的 AWS 账户（如果需要）。
2. 启动您的 AWS 实例。
3. 登录并运行您的代码。
4. 训练一个 XGBoost 模型。
5. 关闭您的 AWS 实例。

请注意，使用 Amazon 的虚拟服务器实例会产生费用。对于临时模型开发，费用非常低（例如，每小时不到一美元），这也是其吸引人的原因，但它并非免费。

服务器实例运行的是 Linux。了解如何在 Linux 或类 Unix 环境中导航是很有帮助的，但并非必需。我们只是运行 Python 脚本，所以不需要高级技能。

1. 设置您的 AWS 账户（如果需要）

您需要一个 Amazon Web Services 账户。

• 1. 您可以通过点击“Sign in to the Console”访问 Amazon Web Services portal 来创建账户。然后，您可以使用现有的 Amazon 账户登录或创建一个新账户。

AWS 登录按钮

• 2. 如果创建账户，您需要提供您的详细信息以及 Amazon 可以收费的有效信用卡。如果您已经是 Amazon 客户并且有存档的信用卡，则此过程会快得多。

注意：如果您创建了新账户，您可能需要向 Amazon 支持部门申请，才能在教程的其余部分中使用更大的（非免费）服务器实例。

2. 启动您的服务器实例

既然您已经有了 AWS 账户，您就可以启动一个 EC2 虚拟服务器实例来运行 XGBoost。

启动实例就像选择要加载的镜像并启动虚拟服务器一样简单。

我们将使用现有的 Fedora Linux 镜像，并手动安装 Python 和 XGBoost。

• 1. 如果您还没有登录，请登录您的 AWS 控制台。

AWS 控制台

• 2. 点击 EC2 以启动新的虚拟服务器。
• 3. 从右上角的下拉菜单中选择“N. California”。这一点很重要，否则您可能找不到我们要使用的镜像（称为 AMI）。

选择加州北部

• 4. 点击“Launch Instance”按钮。
• 5. 点击“Community AMIs”。AMI 是 Amazon Machine Image。它是服务器的冻结实例，您可以选择并实例化到新的虚拟服务器上。

社区 AMI

• 6. 在“Search community AMIs”搜索框中输入 AMI：“Fedora-Cloud-Base-24”并按 Enter。您应该会看到一个结果。

这是 Fedora Linux 24 版本的基础安装镜像。一个非常易于使用的 Linux 发行版。

• 7. 点击搜索结果中的“Select”来选择 AMI。
• 8. 现在您需要选择运行镜像的硬件。向下滚动并选择“c3.8xlarge”硬件。

这是一个大型实例，包含 32 个 CPU 核心、60 GB 内存和 2 个大型 SSD 磁盘。

选择 c3.8xlarge 实例类型

• 9. 点击“Review and Launch”来最终确定您的服务器实例的配置。

您会看到类似“Your instance configuration is not eligible for the free usage tier”的警告。这只是表明您将为服务器上的时间付费。我们知道这一点，请忽略此警告。

您的实例配置不符合免费使用套餐资格

• 10. 点击“Launch”按钮。
• 11. 选择您的 SSH 密钥对。
  • 如果您有密钥对（因为您之前使用过 EC2），请选择“Choose an existing key pair”并从列表中选择您的密钥对。然后勾选“I acknowledge…”。
  • 如果您没有密钥对，请选择“Create a new key pair”选项，然后输入一个“Key pair name”，例如“xgboost-keypair”。点击“Download Key Pair”按钮。
• 12. 打开终端，然后切换到您下载密钥对的目录。
• 13. 如果您还没有这样做，请限制您密钥对文件的访问权限。这是 SSH 访问服务器所必需的。例如，在您的控制台上，您可以输入：

• 14. 点击“Launch Instances。”

注意：如果这是您第一次使用 AWS，Amazon 可能需要验证您的请求，这可能需要长达 2 小时（通常只需几分钟）。

• 15. 点击“View Instances”查看您的实例状态。

查看您正在运行的实例并记下其 IP 地址

您的服务器现在正在运行，随时可以登录。

3. 登录和配置

现在您已经启动了服务器实例，是时候登录并进行配置以供使用了。

您每次启动服务器都需要进行配置。因此，最好将所有工作批处理起来，以便充分利用配置好的服务器。

配置服务器不会花费太长时间，总共大约需要 10 分钟。

• 1. 如果您还没有这样做，请在您的 Amazon EC2 控制台中点击“View Instances”。
• 2. 将“Public IP”（屏幕下方的“Description”部分）复制到剪贴板。

在此示例中，我的 IP 地址是 52.53.185.166。
请勿使用此 IP 地址，您的 IP 地址会不同。.

• 3. 打开终端，然后切换到您下载密钥对的目录。使用 SSH 登录到您的服务器，例如您可以输入：

• 4. 第一次登录服务器实例时，可能会收到警告。您可以忽略此警告，只需输入“yes”并按 Enter。

您现在已登录到服务器。

通过输入以下命令，仔细检查您实例上的 CPU 核心数：

您应该看到

3a. 安装支持包

第一步是安装所有支持 XGBoost 的软件包。

这包括 GCC、Python 和 SciPy 堆栈。我们将使用 Fedora 的包管理器 dnf（新的 yum）。

注意：我们将使用 Python 2 和一些旧版本的库。这是故意的，因为这些说明对于最新版本的库和 Python 3 似乎不起作用。

这是一行命令：

出现提示时，输入“y”并按 Enter 确认要安装的软件包。

这将需要几分钟时间来下载和安装所有必需的软件包。

完成后，我们可以确认环境已成功安装。

i) 检查 GCC

类型

您应该看到

ii) 检查 Python

类型

您应该看到

iii) 检查 SciPy

类型

您应该会看到类似以下内容：

注意：如果任何检查失败，请停止并纠正任何错误。在继续之前，您必须拥有一个完整有效的工作环境。

现在我们准备安装 XGBoost 了。

3b. 构建和安装 XGBoost

XGBoost 的安装说明是完整的，我们可以直接遵循。

首先，我们需要在服务器上下载该项目。

接下来，我们需要编译它。-j 参数可用于指定预期的核心数。对于我们 AWS 实例上的 32 个核心，我们可以将其设置为 32。

如果您选择了不同的 AWS 硬件，可以相应地进行设置。

XGBoost 项目应该会成功构建（例如，没有错误）。

现在我们可以安装 Python 版本的库了。

就这样。

我们可以通过输入以下命令来确认安装是否成功：

这应该会打印出类似以下内容：

4. 训练 XGBoost 模型

让我们通过运行带有大量核心的 XGBoost 来测试您的大型 AWS 实例。

在本教程中，我们将使用 Otto Group 产品分类挑战赛 数据集。

该数据集可从 Kaggle 免费获取（您需要注册 Kaggle 才能下载此数据集）。它描述了 61,000 多个产品（例如时尚、电子产品等）的 93 个模糊细节。输入变量是各种事件的数量。

目标是为新产品进行预测，预测结果是每个 10 个类别的概率数组，模型使用多类对数损失（也称为交叉熵）进行评估。

该竞赛于 2015 年 5 月完成，该数据集对 XGBoost 来说是一个很好的挑战，因为它具有非平凡数量的示例、问题的难度以及只需要很少的数据准备（除了将字符串类变量编码为整数）。

在您的工作站上创建一个名为 work/ 的新目录。

您可以从数据页面下载训练数据集 train.csv.zip，并将其放在工作站上的 work/ 目录中。

我们将评估使用不同数量的核心在数据集上训练 XGBoost 所需的时间。

我们将尝试使用 1 个核心、一半的核心（16 个）和所有 32 个核心。我们可以通过在 XGBClassifier 类（XGBoost 的 scikit-learn 包装器）中设置 nthread 参数来指定 XGBoost 算法使用的核心数。

完整的示例列在下面。将其保存在名为 work/script.py 的文件中。

现在，我们可以将您的 work/ 目录（包含数据和脚本）复制到您的 AWS 服务器。

在您的工作站上，进入包含 work/ 目录的当前目录，然后输入：

当然，您需要使用您的密钥文件和服务器的 IP 地址。

这将在您的服务器主目录中创建一个新的 work/ 目录。

重新登录到您的服务器实例（如果需要）。

切换到您的工作目录并解压训练数据。

现在我们可以运行脚本并训练 XGBoost 模型，并计算使用不同核心数量所需的时间。

注意：由于算法的随机性、评估程序的随机性或数值精度的差异，您的结果可能有所不同。考虑多次运行示例并比较平均结果。

您应该会看到类似以下的输出。

可以看到 16 个和 32 个核心之间的差异很小。

我认为这是因为 AWS 提供了 16 个物理核心的访问权限，并带有超线程，提供了额外的虚拟核心。但是，在 7 秒内构建大型 XGBoost 模型还是很棒的。

您可以将此作为将自己的数据和脚本复制到 AWS 实例的模板。

一个好技巧是将您的脚本作为后台进程运行，并将任何输出转发到一个文件。以防您的服务器连接中断，或者您想关闭它让服务器整晚运行您的代码。

您可以通过输入以下命令将代码作为后台进程运行并将输出重定向到文件：

现在我们完成了，可以关闭 AWS 实例。

5. 关闭您的 AWS 实例

完成工作后，您必须关闭您的实例。

请记住，您会根据实例的使用时间收费。虽然便宜，但如果您不使用它，您不希望实例一直运行。

• 1. 在终端中退出您的实例，例如您可以输入：

• 2. 使用您的网络浏览器登录您的 AWS 账户。
• 3. 点击 EC2。
• 4. 从左侧菜单中点击“Instances”。
• 5. 从列表中选择您正在运行的实例（如果您只有一个正在运行的实例，它可能已经被选中）。
• 6. 点击“Actions”按钮，选择“Instance State”，然后选择“Terminate”。确认您要终止正在运行的实例。

实例关闭并从实例列表中移除可能需要几秒钟。

就是这样。

总结

在这篇文章中，您了解了如何在 Amazon 云基础设施上训练大型 XGBoost 模型。

具体来说，你学到了：

• 如何启动和配置 Amazon EC2 上的 Linux 服务器实例以用于 XGBoost。
• 如何安装运行 XGBoost 库在 Python 中所需的所有软件。
• 如何将数据和代码传输到您的服务器，并利用服务器上的所有核心来训练大型模型。

您对在 Amazon Web Services 上训练 XGBoost 模型或对本文有任何疑问吗？请在评论中提问，我将尽力回答。

发现赢得竞赛的算法！

在几分钟内开发您自己的 XGBoost 模型

...只需几行 Python 代码

在我的新电子书中探索如何实现
使用 Python 实现 XGBoost

它涵盖了自学教程，例如：
算法基础、缩放、超参数等等……

将 XGBoost 的强大功能带入您自己的项目

跳过学术理论。只看结果。

查看内容