应用机器学习 XGBoost 简明介绍

XGBoost 是一种算法，最近在结构化或表格数据的应用机器学习和 Kaggle 竞赛中占据主导地位。

XGBoost 是梯度提升决策树的一种实现，旨在提高速度和性能。

在这篇文章中，您将了解 XGBoost，并对其是什么、起源以及如何进一步学习进行温和的介绍。

阅读本文后，您将了解

• XGBoost 是什么以及该项目的目标。
• 为什么 XGBoost 必须成为您机器学习工具包的一部分。
• 在哪里可以学习更多，以便在您的下一个机器学习项目中使用 XGBoost。

通过我的新书《XGBoost With Python》启动您的项目，其中包括所有示例的分步教程和 Python 源代码文件。

让我们开始吧。

• 2021年2月更新：修复了失效链接。

应用机器学习 XGBoost 简明介绍
照片由 Sigfrid Lundberg 拍摄，保留部分权利。

什么是 XGBoost？

XGBoost 代表 eXtreme Gradient Boosting（极致梯度提升）。

然而，xgboost 这个名字实际上指的是工程目标，即突破提升树算法计算资源的极限。这就是许多人使用 xgboost 的原因。

—— 陈天奇，在 Quora 回答“R gbm（梯度提升机）和 xgboost（极致梯度提升）有什么区别？”这个问题时说

它是 陈天奇 创建的梯度提升机的一种实现，现在有许多开发人员贡献。它属于分布式机器学习社区或 DMLC 旗下更广泛的工具集合，DMLC 也是流行的 mxnet 深度学习库的创建者。

陈天奇在帖子 XGBoost 演变背后的故事和经验教训中提供了 XGBoost 创建的简短而有趣的故事。

XGBoost 是一个软件库，您可以下载并安装到您的机器上，然后通过各种接口访问。具体来说，XGBoost 支持以下主要接口：

• 命令行界面 (CLI)。
• C++（库编写的语言）。
• Python 接口以及 scikit-learn 中的模型。
• R 接口以及 caret 包中的模型。
• Julia。
• Java 和 JVM 语言，如 Scala 和 Hadoop 等平台。

XGBoost 特性

该库专注于计算速度和模型性能，因此功能不多。尽管如此，它确实提供了一些高级功能。

模型特性

模型的实现支持 scikit-learn 和 R 的功能，并新增了正则化等功能。支持三种主要的梯度提升形式：

• 梯度提升算法，也称为梯度提升机，包括学习率。
• 随机梯度提升，在行、列和每分裂列级别进行子采样。
• 正则化梯度提升，同时使用 L1 和 L2 正则化。

系统特性

该库提供了一个可在各种计算环境中使用 的系统，尤其是：

• 在训练期间利用所有 CPU 核心进行树构建的并行化。
• 使用机器集群训练超大型模型的分布式计算。
• 针对无法完全加载到内存中的超大型数据集的核外计算。
• 数据结构和算法的缓存优化，以充分利用硬件。

算法特性

算法的实现是为了计算时间和内存资源的效率而设计的。设计目标是最大限度地利用可用资源来训练模型。一些关键的算法实现特性包括：

• 稀疏感知实现，自动处理缺失数据值。
• 块结构支持树构建的并行化。
• 持续训练，以便您可以在新数据上进一步提升已拟合的模型。

XGBoost 是免费开源软件，可在宽松的 Apache-2 许可下使用。

为什么要使用 XGBoost？

使用 XGBoost 的两个原因也是该项目的两个目标：

1. 执行速度。
2. 模型性能。

1. XGBoost 执行速度

通常，XGBoost 很快。与梯度提升的其他实现相比，它真的很快。

Szilard Pafka 进行了一些客观基准测试，比较了 XGBoost 与其他梯度提升和袋装决策树实现的性能。他在 2015 年 5 月的博文“基准测试随机森林实现”中撰写了他的结果。

他还提供了所有 GitHub 上的代码以及更详细的带有具体数字的结果报告。

XGBoost 的基准性能，摘自基准测试随机森林实现。

他的结果表明，XGBoost 几乎总是比 R、Python Spark 和 H2O 的其他基准测试实现更快。

在他的实验中，他评论道：

我还尝试了 xgboost，这是一个流行的提升库，也能够构建随机森林。它速度快，内存效率高，精度高。

— Szilard Pafka，《基准测试随机森林实现》。

2. XGBoost 模型性能

XGBoost 在分类和回归预测建模问题上主导结构化或表格数据集。

证据是，它是 Kaggle 竞争数据科学平台上竞赛获胜者的首选算法。

例如，这里有一个不完整的、使用 XGBoost 获得第一、第二和第三名的竞赛获奖者列表，标题是：XGBoost：机器学习挑战获奖解决方案。

为了使这一点更具体，下面是一些来自 Kaggle 竞赛获胜者的深刻引言：

作为越来越多 Kaggle 竞赛的获胜者，XGBoost 再次向我们展示了它是一种值得拥有在您的工具箱中的出色全能算法。

—— Dato 获奖者访谈：第一名，Mad Professors

有疑问时，请使用 xgboost。

—— Avito 获奖者访谈：第一名，Owen Zhang

我喜欢表现出色的单一模型，我最好的单一模型是 XGBoost，它本身可以获得第 10 名。

—— Caterpillar 获奖者访谈：第一名

我只使用了 XGBoost。

—— Liberty Mutual Property Inspection，获奖者访谈：第一名，Qingchen Wang

我唯一使用的有监督学习方法是梯度提升，由出色的 xgboost 包实现。

—— Recruit Coupon Purchase 获奖者访谈：第二名，Halla Yang

XGBoost 使用什么算法？

XGBoost 库实现了梯度提升决策树算法。

此算法有许多不同的名称，例如梯度提升、多元加性回归树、随机梯度提升或梯度提升机。

提升是一种集成技术，其中添加新模型以纠正现有模型所犯的错误。模型按顺序添加，直到无法再进行改进。一个流行的例子是AdaBoost 算法，它对难以预测的数据点进行加权。

梯度提升是一种方法，其中创建新模型来预测先前模型的残差或误差，然后将它们相加起来进行最终预测。它之所以被称为梯度提升，是因为它使用梯度下降算法在添加新模型时最小化损失。

这种方法支持回归和分类预测建模问题。

有关提升和梯度提升的更多信息，请参阅 Trevor Hastie 关于梯度提升机器学习的演讲。

官方 XGBoost 资源

关于 XGBoost 的最佳信息来源是该项目的官方 GitHub 仓库。

从那里您可以访问问题跟踪器和用户组，可用于提问和报告错误。

一个包含示例代码和帮助的优秀链接来源是精彩的 XGBoost 页面。

还有一个官方文档页面，其中包含适用于各种不同语言的入门指南、教程、操作指南等。

还有一些关于 XGBoost 的更正式的论文，值得一读，以获取更多关于该库的背景信息：

• 使用增强树发现希格斯玻色子, 2014.
• XGBoost：一个可扩展的树形增强系统, 2016.

关于XGBoost的演讲

当开始使用像 XGBoost 这样的新工具时，在深入研究代码之前，回顾一些关于该主题的演讲会很有帮助。

XGBoost：一个可扩展的树形增强系统

该库的创建者陈天奇于 2016 年 6 月在洛杉矶数据科学小组做了一次题为“XGBoost：一个可扩展的树形增强系统”的演讲。

您可以在此处查看他的演讲幻灯片

DataScience LA 博客上还有更多信息。

XGBoost：极致梯度提升

XGBoost R 接口的贡献者 Tong He 于 2015 年 12 月在纽约数据科学学院发表了题为“XGBoost：极致梯度提升”的演讲。

您可以在此处查看他的演讲幻灯片

纽约数据科学学院博客上还有更多关于这次演讲的信息。

安装 XGBoost

XGBoost 文档网站上提供了全面的安装指南。

它涵盖了 Linux、Mac OS X 和 Windows 上的安装。

它还涵盖了 R 和 Python 等平台上的安装。

R 中的 XGBoost

如果您是 R 用户，最好的入门点是 xgboost 包的 CRAN 页面。

从该页面可以访问 R 小插曲包 'xgboost' [pdf]。

此页面还链接了一些优秀的 R 教程，可帮助您入门：

• 发现您的数据
• XGBoost 演示
• xgboost：极致梯度提升 [pdf]

还有官方的XGBoost R 教程和使用 XGBoost 理解您的数据集教程。

Python 中的 XGBoost

安装说明可在 XGBoost 安装指南的 Python 部分中找到。

官方的 Python 包介绍是使用 Python 中的 XGBoost 时最好的起点。

要快速开始，您可以键入

在 XGBoost Python 功能演练中，还有一个出色的 Python 示例源代码列表。

总结

在这篇文章中，您发现了用于应用机器学习的 XGBoost 算法。

您学到了

• XGBoost 是一个用于开发快速高性能梯度提升树模型的库。
• XGBoost 在一系列困难的机器学习任务中取得了最佳性能。
• 您可以使用命令行、Python 和 R 来使用此库，并了解如何开始。

您使用过 XGBoost 吗？在下面的评论中分享您的经验。

您对 XGBoost 或这篇文章有什么问题吗？在下面的评论中提出您的问题，我将尽力回答。

发现赢得竞赛的算法！

在几分钟内开发您自己的 XGBoost 模型

...只需几行 Python 代码

在我的新电子书中探索如何实现
使用 Python 实现 XGBoost

它涵盖了自学教程，例如：
算法基础、缩放、超参数等等……

将 XGBoost 的强大功能带入您自己的项目

跳过学术理论。只看结果。

查看内容