档案 | 集成学习

Extreme Gradient Boosting (XGBoost) 是一个开源库，它提供了一种高效且有效的梯度提升算法实现。尽管在此之前存在该方法的其他开源实现，但 XGBoost 的发布似乎释放了该技术的强大功能，并引起了应用机器学习社区对梯度提升的更多关注 […]

随机子空间集成由在训练数据集中不同的随机选择的输入特征（列）组上拟合的相同模型组成。有许多方法可以选择训练数据集中的特征组，而特征选择是一类流行的旨在专门为此目的的数据准备技术。通过 [...] 选择的特征

Bootstrap aggregation，或称 bagging，是一种集成方法，其中每个模型都在训练数据集的不同样本上进行训练。Bagging 的思想可以推广到其他改变训练数据集并对数据的每个更改版本进行模型拟合的技术。一种方法是使用数据转换，这些转换 [...]

Multivariate Adaptive Regression Splines，或称 MARS，是一种用于复杂非线性回归问题的算法。该算法涉及寻找一组简单的线性函数，这些函数组合起来可产生最佳的预测性能。通过这种方式，MARS 是一种简单的线性函数集成，可以在具有挑战性的回归问题上取得良好的性能 [...]

Ensembles 是一种机器学习方法，它组合多个模型的预测，以期获得更好的预测性能。存在许多不同类型的集成，尽管所有方法都有两个关键特性：它们要求贡献模型不同，以便它们产生不同的错误，并且它们以 [...] 的方式组合预测

Random Subspace Ensemble 是一种机器学习算法，它组合在训练数据集的不同列子集上训练的多个决策树的预测。随机改变用于训练集成中每个贡献成员的列会引入集成多样性，从而可以提高性能 [...]

机器学习算法，如逻辑回归和支持向量机，是为二分类（二元）分类问题设计的。因此，这些算法要么必须修改以用于多类（两个以上）分类问题，要么根本不使用。纠错输出码方法是一种技术，它允许将多类分类问题重新表述为 [...]

集成方法在机器学习中有何优势？集成是预测模型，它组合一个或多个其他模型的预测。集成学习方法很受欢迎，是预测建模项目中最重要成果的首选技术。尽管如此，它们并非总是最合适的技术 [...]

我们在生活中做出的许多决定都基于多个他人的意见。这包括根据评论选择要阅读的书籍、根据多位医生的建议选择行动方案以及确定是否有罪。通常，一群人的决策会产生比 [...] 更好的结果

集成学习涉及组合多个机器学习模型的预测。其效果既可以提高预测性能，也可以降低模型预测的方差。集成方法在大多数机器学习教科书中都有介绍；然而，也有专门针对该主题的书籍。在本文中，您将发现顶级 [...]