专家混合（Mixture of experts）是一种在神经网络领域开发的集成学习技术。它包括将预测建模任务分解为子任务，为每个子任务训练一个专家模型，开发一个门控模型，该模型学习根据要预测的输入来信任哪个专家，并组合预测。尽管该技术最初是 […]
Python 中集成的增长与剪枝
集成成员选择是指优化集成组成的算法。这可能涉及从可用模型构建集成，或从已完全定义的集成中修剪成员。目标通常是在对集成性能几乎没有或没有影响的情况下，降低集成的模型或计算复杂性， […]
Python 中用于分类的动态集成选择 (DES)
动态集成选择（Dynamic ensemble selection）是一种集成学习技术，它在进行预测时，可以即时自动选择集成成员的子集。该技术包括在训练数据集上拟合多个机器学习模型，然后根据特定新样本的预测，选择预期表现最佳的模型， […]
机器学习堆叠集成的精髓
堆叠泛化（Stacked generalization），或称堆叠（stacking），可能是一种不太受欢迎的机器学习集成方法，因为它描述的是一个框架，而不是一个特定的模型。它在主流机器学习中不太受欢迎的原因可能是，在不出现数据泄露的情况下，正确地训练堆叠模型可能很棘手。这意味着 […]
如何组合集成学习的预测结果
集成方法涉及组合来自多个模型的预测。预测的组合是集成方法的核心部分，并且很大程度上取决于构成集成的模型类型以及正在建模的预测问题类型，例如分类或回归。尽管如此，有一些常见的 […]
集成学习算法简明介绍
集成学习（Ensemble learning）是一种通用的机器学习元方法，它通过组合多个模型的预测来寻求更好的预测性能。尽管你可以为你的预测建模问题开发出看似无限数量的集成方法，但有三种方法在集成学习领域占据主导地位。以至于 […]
如何从零开始实现梯度下降优化
梯度下降（Gradient descent）是一种优化算法，它沿着目标函数的负梯度方向移动，以找到函数的最小值。它是一种简单有效的技术，只需几行代码即可实现。它也为许多扩展和修改提供了基础，这些扩展和修改可以产生 […]
机器学习中的梯度是什么？
梯度（Gradient）是优化和机器学习中常用的术语。例如，深度学习神经网络是通过随机梯度下降进行拟合的，许多用于拟合机器学习算法的标准优化算法都使用梯度信息。为了理解梯度是什么，你需要从 […] 了解导数。
从头开始的 Adadelta 梯度下降
梯度下降（Gradient descent）是一种优化算法，它沿着目标函数的负梯度方向移动，以找到函数的最小值。梯度下降的一个限制是，它对每个输入变量使用相同的步长（学习率）。AdaGradn 和 RMSProp 是梯度下降的扩展，它们添加了一个自适应 […]
什么是半监督学习
半监督学习（Semi-supervised learning）是一种学习问题，它涉及少量标记样本和大量未标记样本。这类学习问题具有挑战性，因为有监督和无监督学习算法都无法有效利用标记和未标记数据的混合。因此，专门的半监督学习算法 […]