协调数据：分段、拼接、透视和合并的交响曲

在数据科学项目中，您收集的数据通常不是您想要的形状。通常，您需要创建派生特征、将数据子集聚合成摘要形式，或者根据某些复杂逻辑选择部分数据。这不是一个假设情况。无论项目大小，您在第一步获得的数据很可能远非理想。

作为一名数据科学家，您必须熟练地将数据格式化为正确的形状，以便后续步骤更容易。在下文中，您将学习如何在 Pandas 中对数据集进行切片和切块，以及将它们重新组装成截然不同的形式，以使有用数据更加突出，从而使分析更容易。

让我们开始吧。

协调数据：分段、拼接、透视和合并的交响曲
图片由 Samuel Sianipar 提供。保留部分权利。

概述

这篇文章分为两部分：

• 分割和连接：用 Pandas 编排
• 透视和合并：与 Pandas 共舞

分割和连接：用 Pandas 编排

您可能会提出一个有趣的问题：房产建造年份如何影响其价格？为了调查这一点，您可以将数据集按“销售价格”分为四个四分位数——低、中、高和高级——并分析这些细分市场中的建造年份。这种系统地划分数据集不仅为集中分析铺平了道路，而且还揭示了在集体审查中可能被隐藏的趋势。

细分策略：“销售价格”的四分位数

让我们首先创建一个新列，将属性的“销售价格”整齐地分类到您定义的价格类别中

通过执行上述代码，您已使用名为“Price_Category”的新列丰富了数据集。这是您获得的输出示例

使用经验累积分布函数（ECDF）可视化趋势

现在，您可以将原始数据集分成四个数据框，并继续可视化每个价格类别中建造年份的累积分布。这个可视化将帮助您一目了然地了解与定价相关的房产建造的历史趋势。

下面是 ECDF 图，它提供了您分类数据的视觉总结。ECDF，或经验累积分布函数，是一种用于描述数据集中数据点分布的统计工具。它表示低于或等于某个值的数据点的比例或百分比。本质上，它为您提供了一种可视化不同值之间数据点分布的方法，从而提供对数据形状、分布和集中趋势的见解。ECDF 图特别有用，因为它们可以轻松地比较不同数据集。请注意每个价格类别的曲线如何为您呈现多年来住房趋势的叙述。
从图中可以看出，低价和中价房屋在早期建造的频率更高，而高价和高级房屋则倾向于较新的建造。鉴于您了解到房产年龄在不同价格段之间存在显著差异，您找到了使用 Pandas.concat() 的有力理由。

使用 Pandas.concat() 堆叠数据集

作为数据科学家，您经常需要堆叠数据集或其片段，以获取更深入的见解。Pandas.concat() 函数是您完成此类任务的瑞士军刀，它使您能够精确而灵活地组合 DataFrames。这个强大的函数让人想起 SQL 的 UNION 操作，因为它将来自不同数据集的行组合起来。然而，Pandas.concat() 凭借其更大的灵活性而脱颖而出——它允许 DataFrames 的垂直和水平连接。当您处理具有不匹配列的数据集或需要通过公共列对齐它们时，此功能变得不可或缺，大大扩展了您的分析范围。以下是您如何组合分段 DataFrames 以比较“经济适用房”和“豪华房”这两个更广泛的市场类别的方法

通过这种方式，您可以并置和分析区分经济适用房和昂贵房产的特征。

通过我的书《数据科学初学者指南》启动您的项目。它提供了带有工作代码的自学教程。

透视和合并：与 Pandas 共舞

在将数据集分割为“经济适用房”和“豪华房”并探索其建造年份的分布之后，您现在将注意力转向另一个影响房产价值的维度：设施，重点是壁炉的数量。在您深入研究合并数据集——Pandas.merge() 作为与 SQL 的 JOIN 媲美的强大工具——之前，您必须首先通过更精细的视角检查您的数据。

数据透视表是总结和分析分段内特定数据点的绝佳工具。它们使您能够聚合数据并揭示可以为后续合并操作提供信息的模式。通过创建数据透视表，您可以编译一个清晰且有组织的总览，包括平均居住面积和房屋数量，按壁炉数量分类。这种初步分析不仅将丰富您对两个市场细分的理解，还将为复杂的合并技术奠定坚实的基础。

使用数据透视表创建有见地的摘要

让我们首先为“经济适用房”和“豪华房”类别构建数据透视表。这些表将汇总平均总居住面积（GrLivArea），并提供每个壁炉类别的房屋数量。这种分析至关重要，因为它说明了房屋吸引力和价值的一个关键方面——壁炉的存在和数量——以及这些特征在住房市场不同细分中的差异。

通过这些数据透视表，您现在可以轻松可视化和比较壁炉等特征与居住面积的相关性，以及它们在每个细分市场中的出现频率。第一个数据透视表是从“经济适用房”DataFrame 创建的，它表明此分组中的大多数房产都没有壁炉。

第二个数据透视表是从“豪华房”DataFrame 派生出来的，它说明此子集中的房产拥有 0 到 4 个壁炉，其中 1 个壁炉最常见。

随着数据透视表的创建，您已将数据提炼成一种形式，为下一个分析步骤做好了准备——使用 Pandas.merge() 融合这些见解，以了解这些特征在更广阔市场中的相互作用。

上面的数据透视表是最简单的一种。更高级的版本允许您不仅指定索引，还可以在参数中指定列。思路相似：您选择两个列，一个指定为 index 参数，另一个指定为 columns 参数，这两个列的值将被聚合并形成一个矩阵。矩阵中的值是 aggfunc 参数指定的结果。

您可以考虑以下示例，它产生与上面类似的结果

输出如下：

您可以通过比较（例如）零壁炉的低价和中价房屋数量分别为 520 和 411 来看到结果是相同的，即 931 = 520+411，正如您之前获得的。您看到第二级列标有低、中、高和高级，因为您将“Price_Category”指定为 pivot_table() 中的 columns 参数。aggfunc 参数的字典给出了顶级列。

迈向更深层次的洞察：利用 Pandas.merge() 进行比较分析

在阐明了壁炉、房屋数量和居住面积在分段数据集中的关系之后，您已准备好将分析更进一步。通过 Pandas.merge()，您可以叠加这些见解，类似于 SQL 的 JOIN 操作根据相关列组合来自两个或更多表的记录。这种技术将允许您在共同属性上合并分段数据，从而实现超越分类的比较分析。

我们的第一个操作使用外连接来组合经济适用房和豪华房数据集，确保两个类别的数据都不会丢失。这种方法特别有启发性，因为它揭示了房屋的全部范围，无论它们是否共享相同数量的壁炉。

在这种情况下，外连接的功能类似于右连接，捕获了两个市场细分中存在的所有不同壁炉类别。有趣的是，在经济适用房价格范围内没有拥有 3 或 4 个壁炉的房产。您需要为 suffixes 参数指定两个字符串，因为“HmCount”和“AvLivArea”列在 pivot_affordable 和 pivot_luxury 这两个 DataFrame 中都存在。您会看到，对于 3 和 4 个壁炉，“HmCount_aff”为零，因为您需要它们作为外连接的占位符来匹配 pivot_luxury 中的行。

接下来，您可以使用内连接，重点关注经济适用房和豪华房共享相同壁炉数量的交集。这种方法突出了两个细分市场之间的核心相似之处。

有趣的是，在这种情况下，内连接的功能类似于左连接，展示了两个数据集中存在的类别。您没有看到对应于 3 个和 4 个壁炉的行，因为它是内连接的结果，并且在 DataFrame pivot_affordable 中没有这样的行。

最后，交叉连接允许您检查经济适用房和豪华房属性的每种可能组合，提供对不同特征在整个数据集中的相互作用的全面视图。结果有时被称为两个 DataFrame 行的笛卡尔积。

结果如下，它展示了交叉连接的结果，但在本数据集的上下文中没有提供任何特殊见解。

从合并数据中提取见解

完成这些合并操作后，您可以深入研究它们揭示的见解。每种连接类型都揭示了住房市场的不同方面

• 外连接揭示了最广泛的房产范围，强调了所有价位上壁炉等设施的多样性。
• 内连接细化了您的视图，专注于经济适用房和豪华房在壁炉数量上的直接比较，提供了标准市场产品的更清晰图景。
• 交叉连接提供了特征的详尽组合，非常适合假设分析或了解潜在市场扩张。

进行这些合并后，您观察到经济适用房中

• 没有壁炉的房屋平均总居住面积约为 1159 平方英尺，构成了最大的细分市场。
• 随着壁炉数量增加到一，平均居住面积扩大到约 1296 平方英尺，突显了居住空间的显著增加。
• 有两个壁炉的房屋数量较少，但平均居住面积甚至更大，约为 1379 平方英尺，这突出了一种趋势，即额外设施与更宽敞的居住空间相关。

相比之下，您观察到豪华房中

• 豪华住宅的起步点是无壁炉房屋，平均面积为 1560 平方英尺，明显大于经济适用房。
• 随着壁炉数量的增加，平均居住面积的跳跃更为明显，带一个壁炉的房屋平均约为 1805 平方英尺。
• 带两个壁炉的房屋进一步放大了这一趋势，平均居住面积接近 1998 平方英尺。房屋中罕见地出现三个甚至四个壁炉标志着居住空间的显著增加，带四个壁炉的房屋面积最大，高达 2646 平方英尺。

这些观察结果提供了一个引人入胜的视角，说明壁炉等设施不仅增加了房屋的吸引力，而且似乎是更大居住空间的标志，尤其是在您从经济适用房市场转向豪华房市场时。

进一步阅读

教程

• Pandas.concat() 方法
• Pandas 的 DataFrame.pivot_table() 方法
• Pandas.merge() 方法

资源

• 艾姆斯数据集
• 艾姆斯数据字典

总结

开始学习数据科学新手指南！

学习在数据科学项目中取得成功的心态

...只需最少的数学和统计知识，通过Python中的简短示例来获取技能

在我的新电子书中探索如何实现
数据科学新手指南

它提供了自学教程，其中包含所有可运行的 Python 代码，让您从新手变为专家。它向您展示了如何查找异常值、确认数据的正态性、查找相关特征、处理偏度、检验假设，等等……所有这些都为了支持您从数据集中创建叙述。

通过实践练习开启你的数据科学之旅

查看内容