使用机器学习进行多步时间序列预测以预测用电量

随着智能电表和太阳能电池板等发电技术的广泛应用，大量的用电数据可供使用。

这些数据代表了一个与电力相关的多元时间序列，进而可以用于建模甚至预测未来的用电量。

机器学习算法预测的是单个值，不能直接用于多步预测。有两种策略可用于使用机器学习算法进行多步预测：递归方法和直接方法。

在本教程中，您将学习如何使用机器学习算法开发递归和直接多步预测模型。

完成本教程后，您将了解：

• 如何为线性、非线性以及集成机器学习算法的多步时间序列预测制定评估框架。
• 如何使用递归多步时间序列预测策略评估机器学习算法。
• 如何使用直接的每日和每前瞻时间步的多步时间序列预测策略评估机器学习算法。

开始您的项目，阅读我的新书《深度学习时间序列预测》，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

面向家庭用电量的机器学习模型的多步时间序列预测
照片由 Sean McMenemy 拍摄，部分权利保留。

教程概述

本教程分为五个部分；它们是：

1. 问题描述
2. 加载并准备数据集
3. 模型评估
4. 递归多步预测
5. 直接多步预测

问题描述

“家庭用电量”数据集是一个多元时间序列数据集，描述了四年内单个家庭的用电量。

数据收集于 2006 年 12 月至 2010 年 11 月期间，每分钟收集一次家庭用电量的观测值。

它是一个多元序列，包含七个变量（除了日期和时间）；它们是

• global_active_power：家庭消耗的总有功功率（千瓦）。
• global_reactive_power：家庭消耗的总无功功率（千瓦）。
• voltage：平均电压（伏特）。
• global_intensity：平均电流强度（安培）。
• sub_metering_1：厨房的有功电能（瓦时有功电能）。
• sub_metering_2：洗衣房的有功电能（瓦时有功电能）。
• sub_metering_3：气候控制系统的有功电能（瓦时有功电能）。

有功电能和无功电能指的是交流电的技术细节。

第四个子计量变量可以通过将三个定义的子计量变量的总和从总有功电能中减去来创建，如下所示

加载并准备数据集

该数据集可以从 UCI 机器学习仓库下载，为一个 20 兆字节的 .zip 文件

• household_power_consumption.zip

下载数据集并将其解压缩到当前工作目录。现在您将拥有文件“household_power_consumption.txt”，其大小约为 127 兆字节，并包含所有观测值。

我们可以使用 read_csv() 函数加载数据，并将前两列合并为一个日期时间列，我们可以将其用作索引。

接下来，我们可以将用“?”字符表示的所有缺失值标记为 NaN 值，这是一个浮点数。

这将允许我们以一个浮点值数组而不是混合类型（效率较低）来处理数据。

现在我们需要填补已标记的缺失值。

一个非常简单的方法是复制前一天同一时间的观测值。我们可以在一个名为 fill_missing() 的函数中实现这一点，该函数将接收数据的 NumPy 数组并复制 24 小时前的值。

我们可以直接将此函数应用于 DataFrame 中的数据。

现在我们可以创建一个新列，其中包含子计量的剩余部分，使用上一节中的计算。

现在我们可以将清理后的数据集保存到一个新文件中；在这种情况下，我们只需将文件扩展名更改为 .csv 并将数据集保存为“household_power_consumption.csv”。

将所有这些串联起来，加载、清理和保存数据集的完整示例列在下面。

运行示例会创建一个新的文件“household_power_consumption.csv”，我们可以将其作为建模项目的起点。

模型评估

在本节中，我们将考虑如何为家庭用电数据集开发和评估预测模型。

本节分为四个部分；它们是

1. 问题构建
2. 评估指标
3. 训练集和测试集
4. 逐时验证

问题构建

有许多方法可以利用和探索家庭用电量数据集。

在本教程中，我们将使用数据来探索一个非常具体的问题；那就是

鉴于最近的用电量，未来一周的预期用电量是多少？

这要求预测模型预测未来七天每天的总有功功率。

技术上，这种问题框架被称为多步时间序列预测问题，因为它涉及多个预测步骤。利用多个输入变量的模型可以被称为多元多步时间序列预测模型。

这种类型的模型可能有助于家庭规划开支。它也可能有助于供应方规划特定家庭的电力需求。

这种数据集的框架还表明，将每分钟的用电量观测值下采样到每日总计可能很有用。这不是必需的，但考虑到我们关注的是每天的总功率，这样做是合理的。

我们可以很容易地使用 pandas DataFrame 上的 resample() 函数来实现这一点。使用参数‘D’调用此函数，可以按天对按日期时间索引加载的数据进行分组（参见所有偏移别名）。然后，我们可以计算每天所有观测值的总和，并为八个变量中的每一个创建每日电力消耗数据的新数据集。

完整的示例如下所示。

运行示例将创建一个新的每日总用电量数据集，并将结果保存到一个名为“household_power_consumption_days.csv”的单独文件中。

我们可以将其用作拟合和评估所选问题框架的预测模型的数据集。

评估指标

预测将由七个值组成，未来一周的每一天一个值。

在多步预测问题中，通常会单独评估每个预测时间步长。这有几个原因

• 评论特定提前期（例如，+1 天与 +3 天）的技能。
• 根据模型在不同提前期（例如，+1 天擅长的模型与 +5 天擅长的模型）的技能来对比模型。

总功率的单位是千瓦，拥有一个也是相同单位的误差度量将非常有用。均方根误差 (RMSE) 和平均绝对误差 (MAE) 都符合这一要求，尽管 RMSE 更常用，并且将在本教程中使用。与 MAE 不同，RMSE 对预测误差的惩罚更大。

此问题的性能指标将是第 1 天到第 7 天每个提前期的 RMSE。

作为一种捷径，为了帮助模型选择，使用单个分数来总结模型的性能可能很有用。

可以使用的一个可能分数是所有预测天的 RMSE。

下面的 evaluate_forecasts() 函数将实现此行为，并根据多个七天预测返回模型的性能。

运行函数将首先返回与日期无关的整体 RMSE，然后返回每天的 RMSE 分数数组。

训练集和测试集

我们将使用前三年的数据进行预测模型训练，并使用最后一年进行模型评估。

给定数据集中的数据将划分为标准周。这些周以周日开始，以周六结束。

这是使用所选模型框架的一种现实且有用的方法，可以预测下周的用电量。这也有助于建模，其中模型可用于预测特定日期（例如，星期三）或整个序列。

我们将把数据划分为标准周，从测试数据集倒序进行。

数据的最后一年是 2010 年，2010 年的第一个星期日是 1 月 3 日。数据于 2010 年 11 月中旬结束，数据中最近的最后一个星期六是 11 月 20 日。这提供了 46 周的测试数据。

下面提供了测试数据集的每日数据的起始行和结束行以供确认。

每日数据始于 2006 年末。

数据集中的第一个星期日是 12 月 17 日，这是数据的第二行。

将数据组织成标准周后，用于训练预测模型的完整标准周有 159 个。

下面的 split_dataset() 函数将每日数据拆分为训练集和测试集，并将每个数据集组织成标准周。

使用数据集的已知信息，使用特定的行偏移量来分割数据。然后使用 NumPy split() 函数将分割后的数据集组织成周数据。

我们可以通过加载每日数据集并打印训练集和测试集的第一行和最后一行数据来测试此函数，以确认它们符合上述预期。

完整的代码示例如下所示。

运行示例表明，训练集确实有 159 周的数据，而测试集有 46 周的数据。

我们可以看到，训练集和测试集的第一行和最后一行的总有功功率与我们定义为每个集合标准周边界的特定日期的数据相匹配。

逐时验证

模型将使用一种称为“前向验证”的方案进行评估。

在这种情况下，模型需要进行一周的预测，然后该周的实际数据将提供给模型，以便模型可以作为后续一周预测的基础。这在实践中与模型的用法相符，并且对模型有益，可以使它们利用最佳可用数据。

我们可以在下面通过分离输入数据和输出/预测数据来演示这一点。

下面定义的函数 `evaluate_model()` 提供了评估此数据集上的预测模型的“前向验证”方法。

函数作为参数接收一个 scikit-learn 模型对象，以及训练和测试数据集。还提供了一个额外的参数 `n_input`，该参数用于定义模型将用于预测的先前观测值的数量。

scikit-learn 模型如何拟合和预测的细节将在后续章节中介绍。

然后，使用先前定义的 evaluate_forecasts() 函数，根据测试数据集评估模型所做的预测。

在对模型进行评估后，我们可以汇总其性能。

下面名为 `summarize_scores()` 的函数将模型的性能显示为一行，以便与其他模型进行轻松比较。

我们现在拥有所有要素，可以开始评估数据集上的预测模型。

递归多步预测

大多数预测建模算法需要一定数量的观测值作为输入，并预测一个输出值。

因此，它们不能直接用于进行多步时间序列预测。

这适用于大多数线性、非线性以及集成机器学习算法。

一种可以使用机器学习算法进行多步时间序列预测的方法是递归使用它们。

这包括进行一个时间步的预测，然后将预测值作为输入反馈给模型，以预测下一个时间步。重复此过程，直到预测完所需步数。

例如

在本节中，我们将使用递归模型进行多步预测，为拟合和评估 scikit-learn 提供的机器学习算法开发一个测试框架。

第一步是将准备好的每周多变量数据转换为单个单变量系列。

下面的 `to_series()` 函数将每周多变量数据列表转换为每日总用电量的单变量系列。

接下来，需要将每日用电量的序列转换为适合拟合监督学习问题的输入和输出。

预测将是先前日期总用电量的某个函数。我们可以选择用于输入的先前日期的数量，例如一周或两周。输出将始终是单个值：下一天的总用电量。

模型将在先前时间步的真实观测值上拟合。我们需要遍历每日用电量序列，并将其分割为输入和输出。这被称为滑动窗口数据表示。

下面的 `to_supervised()` 函数实现了此行为。

它以每周数据列表作为输入，以及用于每个创建的样本的先前日期的数量作为输入。

第一步是将历史记录转换为单个数据系列。然后对该系列进行枚举，为每个时间步创建一个输入和输出对。这种问题框架将允许模型学习在给定先前日期的观测值的情况下预测一周中的任何一天。该函数返回用于训练模型的输入（X）和输出（y）。

scikit-learn 库允许模型作为管道的一部分使用。这允许在拟合模型之前自动应用数据转换。更重要的是，转换的准备方式是正确的，即它们在训练数据上准备或拟合，并在测试数据上应用。这可以防止在评估模型时发生数据泄露。

在评估模型时，我们可以通过在训练数据集上拟合每个模型之前创建管道来利用此功能。在将模型用于数据之前，我们将对数据进行标准化和归一化。

下面的 `make_pipeline()` 函数实现了此行为，它返回一个 Pipeline，该 Pipeline 的用法与模型类似，即它可以被拟合，也可以进行预测。

标准化和归一化操作是按列进行的。在 `to_supervised()` 函数中，我们实际上是将一列数据（总功率）拆分为多列，例如，七天输入观测值对应七列。这意味着输入数据中的七列中的每一列将具有不同的均值和标准差用于标准化，以及不同的最小值和最大值用于归一化。

鉴于我们使用了滑动窗口，几乎所有值都会出现在每一列中，因此这不太可能是一个问题。但需要注意的是，在将数据拆分为输入和输出之前，将其作为一列进行缩放会更严谨。

我们可以将这些元素组合到一个名为 `sklearn_predict()` 的函数中，如下所示。

该函数接受一个 scikit-learn 模型对象、训练数据（称为 history）以及指定用于输入的先前日期的数量。它将训练数据转换为输入和输出，将模型包装在管道中，对其进行拟合，并使用它进行预测。

模型将使用训练数据集的最后一行作为输入来做出预测。

`forecast()` 函数将使用该模型进行递归多步预测。

递归预测包括迭代七天中的每一天，这需要进行多步预测。

模型的数据输入取自 `input_data` 列表的最后几个观测值。此列表以训练数据最后一行中的所有观测值作为种子，并且在我们使用模型进行预测时，将它们添加到此列表的末尾。因此，我们可以从列表中获取最后 `n_input` 个观测值，以达到在下一次迭代中将先前输出作为输入的效果。

该模型用于对准备好的输入数据进行预测，输出既添加到我们将返回的实际输出序列的列表中，也添加到我们将从中提取观测值作为模型输入的输入数据的列表中。

现在我们拥有了使用递归多步预测策略拟合和评估 scikit-learn 模型的所有要素。

我们可以更新上一节中定义的 `evaluate_model()` 函数来调用 `sklearn_predict()` 函数。更新后的函数如下所示。

一个重要的最终函数是 `get_models()`，它定义了一个字典，其中包含 scikit-learn 模型对象，并映射到一个可用于报告的简写名称。

我们将首先评估一系列线性算法。我们期望它们的性能类似于自回归模型（例如，如果使用七天输入，则为 AR(7)）。

下面定义了包含十个线性模型的 `get_models()` 函数。

这是一个抽样检查，我们感兴趣的是各种算法的总体性能，而不是优化任何特定算法。

最后，我们可以将所有这些内容联系起来。

首先，加载数据集并将其分为训练集和测试集。

然后，我们可以准备模型字典并定义要用作模型输入的先前观测值的数量。

然后，枚举字典中的模型，评估每个模型，汇总其得分，并将结果添加到折线图中。

完整的示例如下所示。

运行此示例将评估十个线性算法并汇总结果。

在评估每个算法时，性能会以一行的摘要形式报告，包括总 RMSE 以及每时间步的 RMSE。

注意：您的结果可能因算法或评估过程的随机性，或数值精度的差异而有所不同。请考虑运行示例几次并比较平均结果。

我们可以看到，大多数评估的模型表现都很好，整个星期的误差都低于 400 千瓦，其中随机梯度下降 (SGD) 回归器表现最好，总体 RMSE 约为 383。

还创建了每个分类器七天 RMSE 得分的折线图。

我们可以看到，除两种方法外，大多数方法都聚集在一起，并且在七天的预测中表现良好。

线性算法递归多步预测折线图

通过调整某些表现较好的算法的超参数，可能会获得更好的结果。此外，更新示例以测试一系列非线性算法和集成算法可能会很有趣。

一个有趣的实验可能是评估一个或几个表现较好的算法在更多或更少先前日期作为输入时的性能，例如使用两周的数据而不是一周。

直接多步预测

递归策略的一种替代多步预测方法是为要预测的每一天使用不同的模型。

这称为直接多步预测策略。

由于我们有七天的预测目标，这需要准备七个不同的模型，每个模型都专门用于预测不同的一天。

有两种方法可以训练此类模型

• 预测日期。可以准备模型来预测标准周的特定日期，例如星期一。
• 预测前瞻时间。可以准备模型来预测特定前瞻时间，例如第一天。

预测一天会更具体，但这意味着每个模型可以使用的训练数据更少。预测前瞻时间利用了更多的训练数据，但要求模型能够泛化到一周中的不同日期。

我们将在本节中探讨这两种方法。

直接日期方法

首先，我们必须更新 `to_supervised()` 函数来准备数据，例如用作输入的先前一周的观测值，以及用作输出的下一周特定日期的观测值。

下面列出了实现此行为的更新后的 `to_supervised()` 函数。它接受一个参数 `output_ix`，该参数定义了下一周中用于输出的日期 [0,6]。

此函数可以调用七次，每次对应七个模型之一。

接下来，我们可以更新 `sklearn_predict()` 函数来为每个预测日创建一个新的数据集和一个新模型。

函数的主体基本保持不变，只是它在一个循环中针对输出序列中的每一天使用，其中一天“i”的索引被传递给 `to_supervised()` 调用，以准备用于训练模型预测该特定的数据集。

该函数不再接受 `n_input` 参数，因为我们将输入固定为先前一周的七天。

完整的示例如下所示。

运行此示例会首先汇总每个模型的性能。

注意：您的结果可能因算法或评估过程的随机性，或数值精度的差异而有所不同。请考虑运行示例几次并比较平均结果。

我们可以看到，在该问题上，性能略逊于递归模型。

还创建了每个模型每日期 RMSE 得分的折线图，显示了与递归模型相似的模型分组。

直接按日预测线性算法的多步预测折线图

直接前瞻时间方法

直接前瞻时间方法是相同的，只是 `to_supervised()` 利用了更多的训练数据集。

该函数与递归模型示例中的定义相同，只是它接受一个额外的 `output_ix` 参数来定义下一周中用于输出的日期。

下面列出了用于直接每前瞻时间策略的更新后的 `to_supervised()` 函数。

与按日策略不同，此函数确实支持可变大小的输入（不仅仅是七天），允许您随意试验。

完整的示例如下所示。