梯度下降是一种优化算法，它遵循目标函数的负梯度来找到函数的最小值。梯度下降的一个限制是它为每个输入变量使用相同的步长（学习率）。AdaGrad，简称 AdaGrad，是梯度下降优化算法的扩展……
使用 Python 进行双重退火优化
双退火是一种随机全局优化算法。它是广义模拟退火算法的一个实现，而广义模拟退火算法是模拟退火算法的扩展。此外，它还与在模拟退火过程结束时自动执行的局部搜索算法配对。这种有效的全局和局部搜索过程的结合提供了……
BFGS 优化算法入门指南
Broyden、Fletcher、Goldfarb 和 Shanno（BFGS）算法是一种局部搜索优化算法。它是一种二阶优化算法，意味着它利用目标函数的二阶导数，并属于一类称为拟牛顿法的方法，这些方法近似二阶导数（称为……）
Bootstrap 聚合集成方法的精髓
Bootstrap 聚合，或称 bagging，是一种流行的集成方法，它在训练数据集的不同 bootstrap 样本上拟合决策树。它易于实现，并且对各种问题都有效，重要的是，该技术的温和扩展可以产生一些最强大的集成方法……
机器学习集成多样性简介
集成学习将机器学习模型的预测结果用于分类和回归。我们追求使用集成方法来获得更好的预测性能，而集成是否优秀取决于其对任何单个贡献模型的提升程度。一个好的集成所具备的一个属性是多样性……
多模型机器学习简介
集成学习方法涉及组合多个贡献模型的预测结果。然而，并非所有利用多个机器学习模型的技术都是集成学习算法。将预测问题划分为子问题是很常见的。例如，一些问题自然会划分为独立但相关的子问题，而机器学习模型可以……
机器学习中 Boosting 集成的精髓
Boosting 是一类强大且流行的集成学习技术。历史上，boosting 算法很难实现，直到 AdaBoost 演示了如何实现 boosting，该技术才能被有效使用。AdaBoost 和现代梯度提升通过顺序添加纠正模型残差预测错误的模型来工作……
使用 Python 的集成机器学习（7 天迷你课程）
使用 Python 的集成学习算法速成课程。7 天掌握 Python 集成学习。集成学习是指结合两个或多个模型预测结果的机器学习模型。集成是机器学习的一种高级方法，通常在预测的能力和技能……
如何使用 Python 开发加权平均集成
加权平均集成假设集成中的某些模型比其他模型更具技能，并在进行预测时赋予它们更多的贡献。加权平均或加权求和集成是投票集成的一个扩展，投票集成假设所有模型都具有相同的技能，并且对集成进行的预测做出相同的比例贡献……
集成学习中的强学习器与弱学习器
通常使用弱学习器和强学习器来描述集成学习技术。例如，我们可能希望从许多弱学习器的预测中构建一个强学习器。事实上，这是 boosting 类集成学习算法的明确目标。尽管我们可以将模型描述为弱或……