集成学习技术主要分为两大类：bagging 和 boosting。Bagging 通过聚合独立预测来提高稳定性和准确性，而 boosting 则通过顺序纠正先前模型的错误来逐步提高其性能。本博客文章将开始深入探讨 boosting，首先介绍梯度提升回归模型。通过其在 Ames […]

本博客文章深入探讨了基于树的模型在 Ames Housing 数据集中的应用，特别是决策树、bagging 和随机森林。文章首先强调了预处理的关键作用，这是确保我们的数据最适合这些模型要求的基本步骤。从单个决策树开始的历程 […]

分类变量至关重要，因为它们通常携带影响预测模型结果的关键信息。然而，它们的非数字性质在模型处理中带来了独特的挑战，需要特定的编码策略。本文将首先讨论数据集中经常遇到的不同类型的分类数据。我们将深入探讨序数编码，并 […]

到目前为止，我们的讨论一直围绕线性模型家族。每种方法，从简单的线性回归到 Lasso 和 Ridge 等惩罚技术，都提供了关于基于线性关系预测连续结果的宝贵见解。在我们开始探索基于树的模型时，重要的是要重申我们的重点仍然是 […]

在我们之前对 Lasso、Ridge 和 ElasticNet 等惩罚回归模型进行的讨论中，我们演示了这些模型如何有效地处理多重共线性，使我们能够利用更广泛的特征来提高模型性能。在此基础上，我们现在将解决数据预处理的另一个关键方面——处理缺失值。缺失数据可能会严重影响 […]