在Python中使用时间序列数据进行基本特征工程

时间序列数据在使用机器学习算法之前，必须重新构建为监督学习数据集。

时间序列中没有输入和输出特征的概念。相反，我们必须选择要预测的变量，并使用特征工程构建所有用于预测未来时间步长的输入。

在本教程中，您将学习如何使用 Python 对时间序列数据进行特征工程，以便使用机器学习算法对时间序列问题进行建模。

完成本教程后，您将了解：

• 时间序列数据特征工程的原理和目标。
• 如何开发基于日期时间的基本输入特征。
• 如何开发更复杂的滞后和滑动窗口摘要统计特征。

通过我的新书《使用 Python 进行时间序列预测入门》启动您的项目，包括分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 2017年6月更新：修正了扩展窗口代码示例中的一个拼写错误。
• 2019 年 4 月更新：更新了数据集链接。
• 2019年8月更新：更新了数据加载以使用新的API。
• 2019年9月更新：修正了数据加载中的错误。

在Python中使用时间序列数据进行基本特征工程
图片由José Morcillo Valenciano提供，保留部分权利。

时间序列的特征工程

时间序列数据集必须经过转换才能作为监督学习问题进行建模。

也就是说，它看起来像

变成看起来像

这样我们就可以训练一个监督学习算法。

在机器学习领域，输入变量也称为特征，我们的任务是从时间序列数据集中创建或发明新的输入特征。理想情况下，我们只希望那些能够最好地帮助学习方法建模输入（X）和我们希望预测的输出（y）之间关系的输入特征。

在本教程中，我们将研究可以从时间序列数据集中创建的三类特征：

1. 日期时间特征：这些是每个观测值时间步本身的组成部分。
2. 滞后特征：这些是先前时间步的值。
3. 窗口特征：这些是先前固定时间步窗口内的值的汇总。

在我们深入探讨从时间序列数据创建输入特征的方法之前，让我们首先回顾一下特征工程的目标。

特征工程的目标

特征工程的目标是为监督学习算法提供新输入特征与输出特征之间强大且理想情况下简单的关系，以便进行建模。

实际上，我们正在转移复杂性。

复杂性存在于输入和输出数据之间的关系中。在时间序列的情况下，没有输入和输出变量的概念；我们必须从头开始发明这些并构建监督学习问题。

我们可以依靠复杂模型的能力来理解问题的复杂性。如果我们可以更好地揭示数据中输入和输出之间固有的关系，我们可以使这些模型的工作变得更容易（甚至可以使用更简单的模型）。

困难在于我们不知道我们试图揭示的输入和输出之间潜在的固有函数关系。如果知道，我们可能就不需要机器学习了。

相反，我们唯一的反馈是根据我们创建的监督学习数据集或问题“视图”开发的模型的性能。实际上，最好的默认策略是利用所有可用知识从时间序列数据集中创建许多好的数据集，并使用模型性能（以及其他项目要求）来帮助确定什么是好的特征和好的问题视图。

为清晰起见，我们将在示例中关注单变量（一个变量）时间序列数据集，但这些方法同样适用于多变量时间序列问题。接下来，让我们看看本教程中将使用的数据集。

日最低气温数据集

在这篇文章中，我们将使用每日最低气温数据集。

该数据集描述了澳大利亚墨尔本10年（1981-1990）的每日最低气温。

单位是摄氏度，共有3650个观测值。数据来源归功于澳大利亚气象局。

• 下载数据集.

以下是数据的前 5 行样本，包括标题行。

以下是整个数据集的图。

日最低气温

该数据集显示出上升趋势，并且可能包含一些季节性成分。

• 下载数据集.

日期时间特征

让我们从一些最简单的特征开始。

这些是来自每个观测值的日期/时间特征。事实上，它们可以从简单开始，并深入到相当复杂的特定领域。

我们可以从每个观测值的整数月份和日期开始。我们可以想象监督学习算法可能会使用这些输入来帮助提取年份或月份的季节性信息。

我们提出的监督学习问题是根据月份和日期预测每日最低温度，如下所示：

我们可以使用 Pandas 来实现。首先，时间序列作为 Pandas 的 `Series` 加载。然后，我们为转换后的数据集创建一个新的 Pandas `DataFrame`。

接下来，逐个添加列，其中月份和日期信息从序列中每个观测值的时间戳信息中提取。

下面是实现此功能的 Python 代码。

运行此示例将打印转换后数据集的前5行。

仅仅使用月份和日期信息来预测温度并不复杂，很可能会导致模型性能不佳。然而，这些信息与附加的工程特征结合起来，最终可能会产生更好的模型。

您可以枚举时间戳的所有属性，并考虑哪些可能对您的问题有用，例如：

• 一天中经过的分钟数。
• 一天中的小时。
• 是否为工作时间。
• 是否为周末。
• 一年中的季节。
• 一年中的商业季度。
• 是否为夏令时。
• 是否为公共假期。
• 是否为闰年。

从这些示例中，您可以看到您不限于原始整数值。您也可以使用二进制标志特征，例如观测值是否在公共假期记录。

在最低温度数据集的情况下，季节可能更具相关性。创建此类特定领域特征更有可能为您的模型增加价值。

基于日期时间的特征是一个好的开始，但包含先前时间步的值通常更有用。这些被称为滞后值，我们将在下一节中介绍如何添加这些特征。

滞后特征

滞后特征是将时间序列预测问题转化为监督学习问题的经典方法。

最简单的方法是根据前一个时间点 (t-1) 的值来预测下一个时间点 (t+1) 的值。具有偏移值的监督学习问题如下所示：

Pandas 库提供了 shift() 函数来帮助从时间序列数据集中创建这些偏移或滞后特征。将数据集偏移 1 会创建 t-1 列，并在第一行添加一个 NaN（未知）值。未经偏移的时间序列数据集表示 t+1。

让我们用一个例子来具体说明。温度数据集的前3个值是20.7、17.9和18.8。因此，前3个观测值的偏移和未偏移的温度列表是：

我们可以使用 concat() 函数将偏移的列沿着列轴（axis=1）连接到一个新的 DataFrame 中。

综合起来，下面是一个为我们的每日温度数据集创建滞后特征的示例。值从加载的序列中提取，并创建这些值的偏移和未偏移列表。为了清晰起见，DataFrame 中的每个列也已命名。

运行示例会打印带有滞后特征的新数据集的前5行。

您可以看到我们必须丢弃第一行才能使用数据集来训练监督学习模型，因为它不包含足够的数据。

滞后特征的添加称为滑动窗口方法，在本例中，窗口宽度为1。就好像我们沿着时间序列的每个观测值滑动我们的焦点，只关注窗口宽度内的内容。

我们可以扩大窗口宽度并包含更多滞后特征。例如，下面是修改后的上述情况，其中包含最近3个观测值来预测下一个时间步的值。

运行此示例将打印新滞后数据集的前5行。

再次，您可以看到我们必须丢弃前几行，因为它们没有足够的数据来训练监督模型。

滑动窗口方法的一个难点是为您的实际问题选择多大的窗口。

也许一个好的起点是进行敏感性分析，并尝试一系列不同的窗口宽度，从而创建一系列不同的数据集“视图”，看看哪个能带来性能更好的模型。最终会出现收益递减的情况。

此外，为什么要局限于线性窗口？也许您需要上周、上个月和去年滞后值。同样，这取决于具体的领域。

就温度数据集而言，前一年或前几年同一天的滞后值可能很有用。

我们可以用一个窗口做更多的事情，而不仅仅是包含原始值。在下一节中，我们将介绍包含在窗口中汇总统计信息的特征。

滚动窗口统计

除了添加原始滞后值之外，更进一步是添加先前时间步值的汇总。

我们可以计算滑动窗口中值的汇总统计量，并将其作为特征包含在我们的数据集中。也许最有用的是前几个值的平均值，也称为滚动平均值。

例如，我们可以计算前两个值的平均值，并用它来预测下一个值。对于温度数据，我们必须等待3个时间步才能得到2个值进行平均，然后才能使用该平均值来预测第3个值。

例如：

Pandas 提供了一个 rolling() 函数，它为每个时间步创建一个包含值窗口的新数据结构。然后，我们可以对每个时间步收集的值窗口执行统计函数，例如计算均值。

首先，序列必须被移位。然后可以创建滚动数据集，并计算每个两个值窗口的平均值。

以下是前三个滚动窗口中的值

这表明我们直到第3行才会有可用数据。

最后，像上一节一样，我们可以使用 concat() 函数来构建一个只包含新列的新数据集。

以下示例演示如何使用 Pandas 和大小为 2 的窗口来完成此操作。

运行示例将打印新数据集的前5行。我们可以看到前两行没有用。

• 第一个 NaN 是由序列的移位创建的。
• 第二个是因为 NaN 不能用于计算平均值。
• 最后，第三行显示了预期的值19.30（20.7和17.9的平均值），用于预测序列中的第三个值18.8。

我们可以计算更多的统计数据，甚至可以用不同的数学方法来定义“窗口”。

下面是另一个示例，展示了一个宽度为3的窗口，以及一个包含更多摘要统计信息的数据集，特别是窗口中的最小值、平均值和最大值。

您可以在代码中看到，我们明确地将滑动窗口宽度指定为命名变量。这使我们可以在计算序列的正确偏移量和向 `rolling()` 函数指定窗口宽度时都使用它。

在这种情况下，窗口宽度为3意味着我们必须将序列向前移动2个时间步。这将使前两行为NaN。接下来，我们需要计算每个窗口包含3个值的窗口统计量。需要3行才能在窗口中从序列中获得足够的数据来开始计算统计量。前5个窗口中的值如下所示：

这表明我们预计至少要到第5行（数组索引4）才会有可用数据。

运行代码将打印新数据集的前5行。

我们可以检查第5行（数组索引4）值的正确性。我们可以看到17.9确实是[20.7, 17.9, 18.8]窗口中的最小值，而20.7是最大值。

扩展窗口统计

另一种可能有用的窗口类型是包含序列中所有先前数据。

这称为扩展窗口，有助于跟踪可观测数据的边界。与 `DataFrame` 上的 `rolling()` 函数一样，Pandas 提供了一个 `expanding()` 函数，该函数收集每个时间步的所有先前值集。

这些先前的数字列表可以进行汇总并作为新特征包含在内。例如，以下是序列前5个时间步的扩展窗口中的数字列表：

再次，您可以看到我们必须将序列向前移动一个时间步，以确保我们希望预测的输出值被排除在这些窗口值之外。因此，输入窗口如下所示：

幸好，统计计算会排除扩展窗口中的 NaN 值，这意味着不需要进一步修改。

以下是计算每日温度数据集上扩展窗口的最小值、平均值和最大值的示例。

运行示例将打印数据集的前5行。

检查扩展的最小值、平均值和最大值表明示例达到了预期效果。

总结

在本教程中，您学习了如何使用特征工程将时间序列数据集转换为机器学习的监督学习数据集。

具体来说，你学到了：

• 时间序列数据特征工程的重要性及目标。
• 如何开发日期时间特征和滞后特征。
• 如何开发滑动和扩展窗口摘要统计特征。

您还知道其他时间序列的特征工程方法吗？
请在下方评论中告诉我。

您有任何问题吗？
请在下方评论中提出您的问题，我将尽力回答。

想用Python开发时间序列预测吗？

几分钟内开发您自己的预测

...只需几行python代码

在我的新电子书中探索如何实现
Python 时间序列预测入门

它涵盖了**自学教程**和**端到端项目**，主题包括：*数据加载、可视化、建模、算法调优*等等。

最终将时间序列预测带入
您自己的项目

跳过学术理论。只看结果。

查看内容