档案 | 集成学习

堆叠泛化（或称堆叠）可能是一种不太流行的机器学习集成方法，因为它更多地描述了一个框架而不是一个特定的模型。它在主流机器学习中不太受欢迎的原因可能是，在不遭受数据泄露的情况下，正确训练堆叠模型可能很棘手。这意味着 […]

集成方法涉及组合多个模型的预测结果。预测结果的组合是集成方法的核心部分，并且在很大程度上取决于构成集成的模型类型以及所建模的预测问题类型，例如分类或回归。然而，有一些常见的 […]

集成学习是一种通用的机器学习元方法，通过组合多个模型的预测结果来寻求更好的预测性能。尽管您可以在预测建模问题中开发看似无限数量的集成方法，但在集成学习领域有三种方法占主导地位。以至于 […]

梯度提升是决策树算法的集成。它可能是结构化（表格）分类和回归预测建模问题中最流行的技术之一，因为它在实践中在各种数据集上表现出色。梯度提升的一个主要问题是，训练 […] 速度很慢

奥卡姆剃刀原理建议，在机器学习中，我们应该倾向于使用具有更少系数的简单模型，而不是像集成模型这样的复杂模型。从表面上看，剃刀原理是一种启发式方法，它表明更复杂的假设会做出更多的假设，这些假设反过来又会使它们过于狭窄，无法很好地泛化。在机器学习中，它建议复杂 […]

机器学习中的元学习指的是从其他学习算法中学习的算法。最常见的是，这意味着使用机器学习算法来学习如何在集成学习领域最好地组合来自其他机器学习算法的预测。然而，元学习也可能指模型选择的手动过程 [...]

动态分类器选择是一种用于分类预测建模的集成学习算法。该技术涉及在训练数据集上拟合多个机器学习模型，然后根据要预测的示例的具体细节，选择预期在进行预测时表现最佳的模型。这可以通过以下方式实现 [...]

混合（Blending）是一种集成机器学习算法。它是堆叠泛化或堆叠集成的一种俗称，其中元模型不是在基础模型做出的折外预测上进行拟合，而是在保留数据集上做出的预测上进行拟合。混合曾被用来描述组合了数百个预测 [...] 的堆叠模型。

XGBoost 库提供了梯度提升的有效实现，可以配置用于训练随机森林集成。随机森林是一种比梯度提升更简单的算法。XGBoost 库允许以一种利用和发挥库中实现的计算效率来训练随机森林 […] 的方式来训练模型。

Light Gradient Boosted Machine，简称 LightGBM，是一个开源库，提供了梯度提升算法的高效且有效的实现。LightGBM 通过添加一种自动特征选择以及专注于提升具有更大梯度的示例来扩展梯度提升算法。这可以显著加快速度 [...]