归档 | 数据准备

对测试集进行爬山算法是一种在机器学习竞赛中实现良好甚至完美预测的方法，它无需接触训练集，甚至无需开发预测模型。作为一种机器学习竞赛方法，它理所当然地受到鄙视，大多数竞赛平台都施加限制以防止这种情况发生，这一点很重要。尽管如此，[...]

针对测试集进行训练是一种过拟合，其模型经过特意准备，以在给定的测试集上取得良好性能为代价，增加了泛化误差。这是一种在机器学习竞赛中常见的过拟合类型，竞赛中会提供完整的训练数据集，并且只 [...]

许多机器学习模型在建模前对输入变量进行仔细转换或缩放后表现更佳。将相同的数据转换（如标准化和归一化）同等地应用于所有输入变量是方便的，因此也很常见。这在许多问题上可以取得不错的结果。然而，通过仔细地 [...]

在使用机器学习算法对分类和回归预测问题进行建模时，缺失值可能会导致问题。一种常见的方法是用计算出的统计量（如列的平均值）替换缺失值。这使得数据集可以正常建模，但没有向模型表明该行 [...]

用于机器学习的 scikit-learn Python 库提供了一套数据转换工具，用于改变输入数据的尺度和分布，以及移除输入特征（列）。有许多简单的数据清洗操作，例如移除离群值和移除观测值少的列，通常需要手动对数据进行操作，这需要 [...]

机器学习预测建模的性能取决于您的数据，而数据的质量则取决于您为建模准备数据的方式。最常见的数据准备方法是研究数据集并审视机器学习算法的期望，然后仔细选择最合适的数据 [...]

在预测建模项目中，可以使用大量不同类型的数据准备技术。在某些情况下，数据的分布或机器学习模型的要求可能会提示所需的数据准备，但鉴于其复杂性和高维度 [...]，这种情况很少见。

降维是一种无监督学习技术。然而，它可以作为机器学习算法在分类和回归预测建模数据集上的数据转换预处理步骤，与监督学习算法一同使用。有许多降维算法可供选择，没有一种算法适用于所有情况。相反，这是一个很好的 [...]

分类或回归数据集中离群值的存在可能导致拟合不佳和预测建模性能下降。鉴于大多数机器学习数据集输入变量众多，使用简单的统计方法识别和移除离群值具有挑战性。相反，可以在建模流程中使用自动离群值检测方法 [...]

机器学习预测建模的性能取决于您的数据，而数据的质量则取决于您为建模准备数据的方式。最常见的数据准备方法是研究数据集并审视机器学习算法的期望，然后仔细选择最合适的数据 [...]