如何使用 Python 处理缺失数据

现实世界的数据通常有缺失值。

数据可能由于未记录的观测、不正确或不一致的数据录入等原因而包含缺失值。

许多机器学习算法不支持带有缺失数据的数据。因此，处理缺失数据对于准确的数据分析和构建鲁棒的模型很重要。

在本教程中，您将学习如何使用Python处理机器学习的缺失数据。

具体来说，完成本教程后，您将了解

• 如何将无效或损坏的值标记为数据集中缺失。
• 如何从数据集中删除带有缺失数据的行。
• 如何在数据集中使用平均值填充缺失值。
• 如何使用KNN和迭代填充器等高级技术来填充缺失值。
• 如何将缺失性编码为特征以帮助进行预测。

立即开始您的项目，阅读我的新书 《机器学习数据准备》，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

注意：本文档中的示例假设您已安装了最新版本的Python 3，并带有Pandas、NumPy和Scikit-Learn。特别是scikit-learn版本1.1或更高版本，以及Python 3.8或更高版本。如果您需要帮助设置环境，请参阅此教程。

• 更新 2018年3月：更改了数据集文件的链接。
• 更新 2019年12月：更新了数据集链接到GitHub版本。
• 更新 2020年5月：更新了代码示例以适应API更改。添加了参考文献。
• 更新 2023年11月：添加了关于KNN和迭代填充器以及将缺失性编码为特征的部分。更新了代码示例。

如何使用Python处理缺失值
照片来自 CoCreatr，部分权利保留。

概述

本教程分为9部分

1. 糖尿病数据集：我们在此了解一个已知存在缺失值的数据集。
2. 标记缺失值：我们在此学习如何标记数据集中的缺失值。
3. 缺失值会导致问题：我们在此看到机器学习算法在包含缺失值时可能出现的故障。
4. 删除带有缺失值的行：我们在此了解如何删除包含缺失值的行。
5. 填充缺失值：我们在此用合理的值替换缺失值。
6. 使用KNN填充器填充缺失值：我们在此学习如何使用K近邻填充缺失值。
7. 使用迭代填充器填充缺失值：我们在此看到如何使用迭代填充来填充多个特征中的缺失值。
8. 支持缺失值的算法：我们在此了解支持缺失值的算法。
9. 使用MissingIndicator编码缺失性：我们在此学习如何对数据集中的缺失性进行编码。

首先，让我们看一下带有缺失值的样本数据集。

1. 糖尿病数据集

糖尿病数据集涉及在给定医疗详细信息的情况下，预测5年内糖尿病的发病。

• 数据集文件
• 数据集详情

这是一个二元（2类）分类问题。每个类别的观测数量不平衡。有768个观测，8个输入变量和1个输出变量。变量名称如下：

• 0. 怀孕次数。
• 1. 口服葡萄糖耐量试验2小时后的血浆葡萄糖浓度。
• 2. 舒张压（毫米汞柱）。
• 3. 肱三头肌皮褶厚度（毫米）。
• 4. 2小时血清胰岛素（微单位/毫升）。
• 5. 身体质量指数（体重kg /（身高m）^2）。
• 6. 糖尿病血统函数。
• 7. 年龄（岁）。
• 8. 类别变量（0或1）。

预测最常见类别的基线性能约为65%的分类准确率。最高结果可达约77%的分类准确率。

下面是前 5 行的样本。

此数据集已知包含缺失值。

具体来说，一些列存在缺失观测，这些缺失值被标记为零值。

我们可以通过这些列的定义和领域知识来证实这一点，例如，对于身体质量指数或血压来说，零值是无效的。

在此处下载数据集，并将其保存到当前工作目录中，文件名为pima-indians-diabetes.csv。

• pima-indians-diabetes.csv

2. 标记缺失值

大多数数据都存在缺失值，并且数据集越大，缺失值的可能性就越大。

缺失数据在真实数据集中并不少见。实际上，至少有一个数据点缺失的概率随着数据集大小的增加而增加。

—— 第187页，《特征工程与选择》，2019年。

在本节中，我们将研究如何识别和标记缺失值。

我们可以使用图表和汇总统计信息来帮助识别缺失或损坏的数据。

我们可以将数据集加载为Pandas DataFrame，并打印每个属性的汇总统计信息。

运行此示例会产生以下输出

这很有用。

我们可以看到有些列的最小值是零（0）。在某些列中，零值没有意义，表示无效或缺失值。

缺失值通常由超出范围的条目指示；也许是数值字段中的负数（例如-1），该字段通常只为正数，或者数字字段中的0，该字段永远不可能是0。

—— 第62页，《数据挖掘：实用的机器学习工具与技术》，2016年。

具体来说，以下列具有无效的零最小值：

• 1：血浆葡萄糖浓度
• 2：舒张压
• 3：肱三头肌皮褶厚度
• 4：2小时血清胰岛素
• 5：身体质量指数

让我们通过查看原始数据来确认这一点，示例打印了数据的前20行。

运行示例，我们可以清楚地看到第2、3、4和5列中有0值。

我们可以计算这些列中缺失值的数量。我们可以通过将DataFrame子集中所有值为零的值标记为True来做到这一点。然后，我们可以计算每列True值的数量。

我们可以通过将DataFrame子集中所有值为零的值标记为True来做到这一点。然后，我们可以计算每列True值的数量。

运行示例会打印以下输出。

我们可以看到，第1、2和5列只有少数零值，而第3和第4列显示了更多的零值，接近一半的行。

这突出表明，不同的“缺失值”策略可能需要针对不同的列，例如，为了确保仍有足够的记录可用于训练预测模型。

当一个预测因子本质上是离散的时，缺失性可以直接编码到该预测因子中，就好像它是自然发生的类别一样。

—— 第197页，《特征工程与选择》，2019年。

在Python中，特别是Pandas、NumPy和Scikit-Learn，我们将缺失值标记为NaN。

值为NaN的值会被诸如sum、count等操作忽略。

我们可以使用Pandas DataFrame上的replace()函数轻松地将值标记为NaN，对我们感兴趣的列的子集进行操作。

在用NaN替换缺失值之前，最好通过运行dataset.dtypes来验证列是否包含有效的数值数据类型。

我们看到所有列都是int或float。

标记了缺失值之后，我们可以使用isnull()函数将数据集中所有的NaN值标记为True，并获取每列的缺失值计数。

标记了缺失值之后，我们可以使用isnull()函数将数据集中所有的NaN值标记为True，并获取每列的缺失值计数。

运行示例会打印每列的缺失值数量。我们可以看到，第1到5列的缺失值数量与上面识别的零值数量相同。这表明我们已正确标记了已识别的缺失值。

我们可以看到，第1到5列的缺失值数量与上面识别的零值数量相同。这表明我们已正确标记了已识别的缺失值。

这是一个有用的总结。但我还是喜欢查看实际数据，以确认我没有欺骗自己。

下面是相同的示例，只是我们打印了数据的前20行。

运行示例，我们可以清楚地看到第2、3、4和5列中的NaN值。第1列只有5个缺失值，所以我们在前20行中没有看到示例并不奇怪。

从原始数据可以清楚地看出，标记缺失值已达到预期效果。

在研究处理缺失值的方法之前，让我们先演示一下数据集中存在缺失值可能会导致问题。

3. 缺失值会导致问题

数据集中存在缺失值可能导致某些机器学习算法出现错误。

缺失值是常见的数据现象。不幸的是，大多数预测建模技术都无法处理任何缺失值。因此，这个问题必须在建模之前解决。

—— 第203页，《特征工程与选择》，2019年。

在本节中，我们将尝试在带有缺失值的数据集上评估线性判别分析（LDA）算法。

这是一种在数据集中存在缺失值时无法正常工作的算法。

以下示例在上一节中一样标记了数据集中的缺失值，然后尝试使用3折交叉验证来评估LDA并打印平均准确率。

运行示例会导致错误，如下所示：

正如我们所预期的。

我们无法在带有缺失值的数据集上评估LDA算法（以及其他算法）。

许多流行的预测模型，如支持向量机、glmnet 和神经网络，都无法容忍任何缺失值。

—— 第195页，《特征工程与选择》，2019年。

现在，我们可以研究处理缺失值的方法了。

4. 删除带有缺失值的行

处理缺失数据的最简单策略是删除包含缺失值的记录。

处理缺失值最简单的方法是删除包含缺失值的整个预测因子和/或样本。

—— 第196页，《特征工程与选择》，2019年。

我们可以通过创建一个新的Pandas DataFrame来删除包含缺失值的行。

Pandas提供了dropna()函数，可用于删除带有缺失数据的列或行。我们可以使用dropna()删除所有包含缺失数据的行，如下所示：

运行此示例，我们可以看到原始数据集中有768行，而删除所有包含NaN的行后减少到392行。

现在我们有了可以用来评估对缺失值敏感的算法（如LDA）的数据集。

注意：您的结果可能会因算法或评估程序的随机性，或数值精度的差异而有所不同。考虑运行示例几次并比较平均结果。

该示例成功运行并打印了模型的准确率。

在某些预测建模问题中，删除带有缺失值的行可能会过于局限，另一种选择是填充缺失值。

5. 填充缺失值

填充是指使用模型来替换缺失值。

… 缺失数据可以被填充。在这种情况下，我们可以使用训练集预测因子中的信息来，实质上，估计其他预测因子的值。

— 第42页，《应用预测建模》，2013年。

我们可以考虑许多选项来替换缺失值，例如：

• 在域内有意义的常量值，例如0，与其他所有值不同。
• 来自另一个随机选择的记录的值。
• 列的平均值、中位数或众数。
• 由另一个预测模型估计的值。

在训练数据集上进行的任何填充都必须在未来需要从最终模型进行预测的新数据上进行。选择如何填充缺失值时需要考虑这一点。

例如，如果您选择使用列的平均值进行填充，则这些列的平均值需要存储到文件中，以供将来对具有缺失值的新数据使用。

Pandas提供了fillna()函数用于将缺失值替换为指定值。

例如，我们可以使用fillna()将缺失值替换为每列的平均值，如下所示：

运行示例会提供每列缺失值的计数，显示零缺失值。

scikit-learn库提供了SimpleImputer 预处理类，可用于替换缺失值。

它是一个灵活的类，允许您指定要替换的值（它可以是NaN以外的其他值）以及用于替换它的技术（例如平均值、中位数或众数）。SimpleImputer类直接在NumPy数组上操作，而不是在DataFrame上。

下面的示例使用SimpleImputer类将缺失值替换为每列的平均值，然后打印转换后矩阵中的NaN值数量。

运行示例显示所有NaN值都已成功填充。

6. 使用KNN填充器填充缺失值

到目前为止，我们已经看到了使用pandas fillna()方法和scikit-learn的SimpleImputer的简单填充策略。

KNN或K近邻填充是处理缺失值的另一种技术。您可以使用scikit-learn的KNNImputer来执行此填充。

对于具有缺失值的数据点，此技术在选定的距离度量（默认为欧几里得）下识别K个最近的点。最近点的数量或邻居由n_neighbors参数指定。默认情况下，考虑5个最近的邻居。

考虑一个具有缺失值的特征。缺失值是K个最近邻的该特征值的平均值，默认情况下均匀加权。

下面的示例使用n_neighbors设置为4的KNNImputer类，使用最近邻算法填充缺失值。

您会发现所有缺失值都已按预期填充。

这里我们使用n_neighbors设置为4的KNN Imputer来填充数据集中缺失的值。为避免数据泄露，我们在管道中将KNN Imputer与LDA分类器一起使用，以便Imputer仅在训练数据集的样本上进行拟合。

运行代码时，您应该会看到类似的输出。

要详细了解KNN填充，请参阅此教程

• 机器学习中缺失值的 kNN 估算

7. 使用迭代填充器填充缺失值

Scikit-learn的IterativeImputer是一种更复杂的多变量填充技术。

IterativeImputer通过将一个特征建模为其他特征的函数来预测该特征的缺失值。因此，填充器使用其他特征作为预测因子来预测一个特征的缺失值。

然后，它以轮询方式填充所有缺失的特征。此填充过程会迭代max_iter次，默认为10次。

由于IterativeImputer功能仍处于实验阶段，您需要显式启用它。

我们可以看到所有缺失值都已填充，没有缺失值。

与之前的示例一样，我们可以通过创建包含迭代填充器和LDA模型的管道来在数据集上拟合LDA模型。

运行此示例应该会给您类似的输出。

要了解有关迭代填充的更多信息，请参阅以下教程

• 机器学习中缺失值的迭代估算

8. 支持缺失值的算法

并非所有算法在数据缺失时都会失败。

有些算法可以处理缺失数据，例如k-近邻算法可以在距离度量中忽略缺失值的列。朴素贝叶斯在进行预测时也可以支持缺失值。

朴素贝叶斯一个真正的好处是，缺失值根本不是问题。

—— 第100页，《数据挖掘：实用的机器学习工具与技术》，2016年。

还有一些算法可以在构建预测模型时使用缺失值作为唯一且不同的值，例如分类和回归树。

… 一些预测模型，尤其是基于树的技术，可以专门处理缺失数据。

— 第42页，《应用预测建模》，2013年。

Boosting估计器（如梯度提升分类器）的scikit-learn实现原生支持缺失值。然而，朴素贝叶斯、决策树和k-近邻的scikit-learn实现对缺失值不健壮。尽管这一点正在考虑中。

尽管如此，如果您考虑使用其他算法实现（如xgboost）或开发自己的实现，这仍然是一个选项。

9. 使用MissingIndicator编码缺失性

Scikit-learn的Impute模块还提供了一个MissingIndicator类，用于在数据集中创建缺失值的二进制指示符。

使用指示符标记缺失值有助于以下方面：

• 理解数据中的缺失模式。
• 指导不同特征的填充策略。
• 创建指示特定特征值是否存在的新特征。

以下示例显示了如何使用MissingIndicator标记缺失值并获得二进制指示符矩阵。features参数默认设置为“missing-only”，以仅包含具有缺失值的特征列。

这是输出的指示符矩阵，True表示缺失值，False表示存在值。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

相关教程

• 机器学习中缺失值的 kNN 估算
• 机器学习中缺失值的迭代估算
• 机器学习中缺失值的统计插补

书籍

• 特征工程与选择, 2019.
• 《数据挖掘：实用机器学习工具与技术》(Data Mining: Practical Machine Learning Tools and Techniques), 2016.
• 特征工程与选择, 2019.
• 应用预测建模, 2013.

API

• 在Pandas中处理缺失数据
• 在scikit-learn中填充缺失值

总结

在本教程中，您了解了如何处理包含缺失值的机器学习数据。

具体来说，你学到了：

• 如何将数据集中的缺失值标记为numpy.nan。
• 如何从数据集中删除包含缺失值的行。
• 如何用合理的值替换缺失值。
• 如何使用KNN和迭代填充技术填充缺失值。

您对处理缺失值有什么问题吗？

在评论中提出您的问题，我将尽力回答。

掌握现代数据准备！

在几分钟内准备好您的机器学习数据

...只需几行python代码

在我的新电子书中探索如何实现
机器学习数据准备

它提供**自学教程**，并附有关于以下内容的**完整工作代码**：
*特征选择*、*RFE*、*数据清洗*、*数据转换*、*缩放*、*降维*，以及更多...

将现代数据准备技术引入
您的机器学习项目

查看内容