作者归档 | Jason Brownlee

集成学习方法涉及组合多个贡献模型的预测。然而，并非所有利用多个机器学习模型的技术都是集成学习算法。将预测问题划分为子问题是很常见的。例如，有些问题自然地划分为独立但相关的子问题，并且机器学习模型可以 […]

Boosting 是一种强大且流行的集成学习技术类别。历史上，boosting 算法实现起来具有挑战性，直到 AdaBoost 演示了如何实现 boosting，该技术才能被有效使用。AdaBoost 和现代梯度提升通过按顺序添加模型来纠正模型的残差预测错误。 […]

Python 集成学习算法速成班。在 7 天内掌握 Python 集成学习。集成学习是指结合两个或多个模型预测的机器学习模型。集成是机器学习的高级方法，通常在预测的能力和技能 […]

加权平均集成假设集成中的某些模型比其他模型更有能力，并在进行预测时赋予它们更大的贡献。加权平均或加权和集成是投票集成的扩展，它假设所有模型都具有相同的能力，并且对集成进行的预测做出相同的比例贡献。 […]

通常用弱学习器和强学习器来描述集成学习技术。例如，我们可能希望通过许多弱学习器的预测来构建一个强学习器。事实上，这是 boosting 类集成学习算法的明确目标。尽管我们可以将模型描述为弱或 […]

混合专家（Mixture of Experts）是一种在神经网络领域开发的集成学习技术。它涉及将预测建模任务分解为子任务，为每个子任务训练一个专家模型，开发一个门控模型，该模型根据要预测的输入来学习信任哪个专家，并组合预测。尽管该技术最初 […]

集成成员选择是指优化集成构成的算法。这可能涉及从可用模型中增长一个集成，或者从一个完全定义的集成中修剪成员。目标通常是在对集成性能几乎没有影响或没有影响的情况下，降低集成的模型或计算复杂性。 […]

动态集成选择是一种集成学习技术，可在进行预测时即时自动选择一部分集成成员。该技术涉及在训练数据集上拟合多个机器学习模型，然后根据特定新示例的输入选择最有可能表现最佳的模型。 […]

堆叠泛化（Stacked generalization），或称堆叠（stacking），可能是一种不太流行的机器学习集成技术，因为它描述的是一个框架而非特定模型。它在主流机器学习中不太受欢迎的原因可能是，在不出现数据泄露的情况下，正确训练一个堆叠模型可能很棘手。这意味着 […]

集成方法涉及组合多个模型的预测。预测的组合是集成方法的核心部分，并且在很大程度上取决于构成集成的模型类型以及正在建模的预测问题类型，例如分类或回归。尽管如此，还是存在一些常见的 […]