用于多步时间序列预测的卷积神经网络

随着智能电表和太阳能电池板等发电技术的广泛应用，大量的用电数据可供使用。

这些数据代表了一个与电力相关的多元时间序列，进而可以用于建模甚至预测未来的用电量。

与其他机器学习算法不同，卷积神经网络能够自动从序列数据中学习特征，支持多变量数据，并可以直接输出一个向量用于多步预测。因此，一维 CNN 在具有挑战性的序列预测问题上表现出色，甚至达到了最先进的成果。

在本教程中，您将学习如何开发用于多步时间序列预测的一维卷积神经网络。

完成本教程后，您将了解：

• 如何开发用于单变量数据多步时间序列预测的 CNN 模型。
• 如何开发用于多变量数据多通道多步时间序列预测模型。
• 如何开发用于多变量数据多头多步时间序列预测模型。

使用我的新书《时间序列预测深度学习》启动您的项目，包括分步教程和所有示例的 Python 源代码文件。

让我们开始吧。

• 2019 年 6 月更新：修复了 to_supervised() 中导致最后一星期数据丢失的错误（感谢 Markus）。

如何开发用于多步时间序列预测的卷积神经网络
照片由 Banalities 拍摄，保留部分权利。

教程概述

本教程分为七个部分，它们是：

1. 问题描述
2. 加载并准备数据集
3. 模型评估
4. 用于多步预测的 CNN
5. 使用单变量 CNN 进行多步时间序列预测
6. 使用多通道 CNN 进行多步时间序列预测
7. 使用多头 CNN 进行多步时间序列预测

问题描述

“家庭用电量”数据集是一个多变量时间序列数据集，描述了单个家庭四年内的用电量。

数据收集于 2006 年 12 月至 2010 年 11 月期间，每分钟收集一次家庭用电量的观测值。

它是一个多元序列，包含七个变量（除了日期和时间）；它们是

• global_active_power：家庭消耗的总有功功率（千瓦）。
• global_reactive_power：家庭消耗的总无功功率（千瓦）。
• voltage：平均电压（伏特）。
• global_intensity：平均电流强度（安培）。
• sub_metering_1：厨房的有功电能（瓦时有功电能）。
• sub_metering_2：洗衣房的有功电能（瓦时有功电能）。
• sub_metering_3：气候控制系统的有功电能（瓦时有功电能）。

有功电能和无功电能指的是交流电的技术细节。

第四个子计量变量可以通过将三个定义的子计量变量的总和从总有功电能中减去来创建，如下所示

加载并准备数据集

该数据集可以从 UCI 机器学习仓库下载，为一个 20 兆字节的 .zip 文件

• household_power_consumption.zip

下载数据集并将其解压缩到当前工作目录。现在您将拥有文件“household_power_consumption.txt”，其大小约为 127 兆字节，并包含所有观测值。

我们可以使用 read_csv() 函数加载数据，并将前两列合并为一个日期时间列，我们可以将其用作索引。

接下来，我们可以将用“?”字符表示的所有缺失值标记为 NaN 值，这是一个浮点数。

这将允许我们以一个浮点值数组而不是混合类型（效率较低）来处理数据。

现在我们需要填补已标记的缺失值。

一个非常简单的方法是复制前一天同一时间的观测值。我们可以在一个名为 fill_missing() 的函数中实现这一点，该函数将接收数据的 NumPy 数组并复制 24 小时前的值。

我们可以直接将此函数应用于 DataFrame 中的数据。

现在我们可以创建一个新列，其中包含子计量的剩余部分，使用上一节中的计算。

现在我们可以将清理后的数据集保存到一个新文件中；在这种情况下，我们只需将文件扩展名更改为 .csv 并将数据集保存为“household_power_consumption.csv”。

将所有这些串联起来，加载、清理和保存数据集的完整示例列在下面。

运行示例会创建一个新的文件“household_power_consumption.csv”，我们可以将其作为建模项目的起点。

模型评估

在本节中，我们将考虑如何为家庭用电数据集开发和评估预测模型。

本节分为四个部分；它们是

1. 问题构建
2. 评估指标
3. 训练集和测试集
4. 逐时验证

问题构建

有许多方法可以利用和探索家庭用电量数据集。

在本教程中，我们将使用数据来探索一个非常具体的问题；那就是

鉴于最近的用电量，未来一周的预期用电量是多少？

这要求预测模型预测未来七天每天的总有功功率。

从技术上讲，由于存在多个预测步骤，这种问题框架被称为多步时间序列预测问题。利用多个输入变量的模型可以被称为多变量多步时间序列预测模型。

这种类型的模型可能有助于家庭规划开支。它也可能有助于供应方规划特定家庭的电力需求。

这种数据集的框架还表明，将每分钟的用电量观测值下采样到每日总计可能很有用。这不是必需的，但考虑到我们关注的是每天的总功率，这样做是合理的。

我们可以使用 pandas DataFrame 上的 resample() 函数轻松实现这一点。使用参数“D”调用此函数，可以将按日期时间索引的加载数据按天分组（查看所有偏移别名）。然后，我们可以计算每天所有观测值的总和，并为八个变量中的每一个创建每日用电量数据的新数据集。

完整的示例如下所示。

运行示例将创建一个新的每日总用电量数据集，并将结果保存到一个名为“household_power_consumption_days.csv”的单独文件中。

我们可以将其用作拟合和评估所选问题框架的预测模型的数据集。

评估指标

预测将由七个值组成，未来一周的每一天一个值。

在多步预测问题中，通常会单独评估每个预测时间步长。这有几个原因

• 评论特定提前期（例如，+1 天与 +3 天）的技能。
• 根据模型在不同提前期（例如，+1 天擅长的模型与 +5 天擅长的模型）的技能来对比模型。

总功率的单位是千瓦，如果误差指标也采用相同的单位会很有用。均方根误差 (RMSE) 和平均绝对误差 (MAE) 都符合这一要求，尽管 RMSE 更常用，并且将在本教程中采用。与 MAE 不同，RMSE 对预测误差的惩罚更严厉。

此问题的性能指标将是第 1 天到第 7 天每个提前期的 RMSE。

作为一种捷径，为了帮助模型选择，使用单个分数来总结模型的性能可能很有用。

可以使用的一个可能分数是所有预测天的 RMSE。

下面的 evaluate_forecasts() 函数将实现此行为，并根据多个七天预测返回模型的性能。

运行函数将首先返回与日期无关的整体 RMSE，然后返回每天的 RMSE 分数数组。

训练集和测试集

我们将使用前三年的数据进行预测模型训练，并使用最后一年进行模型评估。

给定数据集中的数据将划分为标准周。这些周以周日开始，以周六结束。

这是使用所选模型框架的一种现实且有用的方式，可以预测未来一周的用电量。它还有助于建模，模型可以用于预测特定的一天（例如星期三）或整个序列。

我们将把数据划分为标准周，从测试数据集倒序进行。

数据的最后一年是 2010 年，2010 年的第一个星期日是 1 月 3 日。数据于 2010 年 11 月中旬结束，数据中最近的最后一个星期六是 11 月 20 日。这提供了 46 周的测试数据。

下面提供了测试数据集的每日数据的起始行和结束行以供确认。

每日数据始于 2006 年末。

数据集中的第一个星期日是 12 月 17 日，这是数据的第二行。

将数据组织成标准周后，用于训练预测模型的完整标准周有 159 个。

下面的 split_dataset() 函数将每日数据拆分为训练集和测试集，并将每个数据集组织成标准周。

使用数据集的已知信息，使用特定的行偏移量来分割数据。然后使用 NumPy split() 函数将分割后的数据集组织成周数据。

我们可以通过加载每日数据集并打印训练集和测试集的第一行和最后一行数据来测试此函数，以确认它们符合上述预期。

完整的代码示例如下所示。

运行示例表明，训练集确实有 159 周的数据，而测试集有 46 周的数据。

我们可以看到，训练集和测试集的第一行和最后一行的总有功功率与我们定义为每个集合标准周边界的特定日期的数据相匹配。

逐时验证

模型将使用一种名为滚动预测的方案进行评估。

在这种方法中，模型需要进行一周的预测，然后将该周的实际数据提供给模型，以便将其作为后续预测的基础。这既符合模型在实际中可能的使用方式，也有利于模型，使其能够利用可用的最佳数据。

我们可以在下面通过分离输入数据和输出/预测数据来演示这一点。

下面提供了用于评估该数据集上预测模型的滚动预测方法，命名为 evaluate_model()。

以标准周格式的训练和测试数据集作为参数提供给函数。另外还提供了一个附加参数 n_input，用于定义模型将用作输入以进行预测的先前观测值的数量。

调用了两个新函数：一个用于从训练数据构建模型的函数，名为 build_model()，另一个用于使用模型为每个新标准周进行预测的函数，名为 forecast()。这些将在后续章节中介绍。

我们正在使用神经网络，因此它们通常训练缓慢但评估速度快。这意味着模型的首选用法是在历史数据上构建一次，并使用它们来预测滚动验证的每一步。在评估期间，模型是静态的（即不更新）。

这与其他训练速度更快的模型不同，在这些模型中，随着新数据的可用，模型可能会在滚动验证的每一步重新拟合或更新。在资源充足的情况下，可以使用神经网络以这种方式进行，但本教程中不会这样做。

完整的 evaluate_model() 函数如下所示。

一旦我们对模型进行了评估，我们就可以总结其性能。

下面的函数，名为 summarize_scores()，将以单行显示模型的性能，以便于与其他模型进行比较。

我们现在拥有所有要素，可以开始评估数据集上的预测模型。

用于多步预测的 CNN

卷积神经网络模型，简称 CNN，是一种深度神经网络，专为图像数据（如手写识别）而开发。

在大规模训练以解决图像中物体识别和定位、自动描述图像内容等具有挑战性的计算机视觉问题时，它们被证明非常有效。

它们是由两种主要元素类型组成：卷积层和池化层。

卷积层使用一个内核读取输入（例如 2D 图像或 1D 信号），该内核每次读取小片段并跨越整个输入字段。每次读取都会对输入进行解释，并投影到特征图上，代表对输入的一种解释。

池化层提取特征图投影并将其提炼成最基本的元素，例如使用信号平均或信号最大化过程。

卷积层和池化层可以深度重复，提供多层输入信号的抽象。

这些网络的输出通常是一个或多个全连接层，这些层解释已读取的内容并将这种内部表示映射到类别值。

有关卷积神经网络的更多信息，请参阅文章

• 机器学习卷积神经网络速成课程

卷积神经网络可用于多步时间序列预测。

• 卷积层可以读取输入数据序列并自动提取特征。
• 池化层可以提取特征并关注最显著的元素。
• 全连接层可以解释内部表示并输出一个代表多个时间步的向量。

该方法的关键优势在于自动特征学习和模型直接输出多步向量的能力。

CNN 既可以用于递归预测策略，即模型进行一步预测并将输出作为后续预测的输入，也可以用于直接预测策略，即为每个要预测的时间步开发一个模型。或者，CNN 可以用于将整个输出序列作为整个向量的一步预测。这是前馈神经网络的一个普遍优势。

使用 CNN 的一个重要的次要优势是它们可以支持多个 1D 输入以进行预测。如果多步输出序列是多个输入序列的函数，这将非常有用。这可以通过两种不同的模型配置来实现。

• 多输入通道。在这种情况下，每个输入序列都被视为一个单独的通道，就像图像的不同通道（例如红色、绿色和蓝色）一样。
• 多输入头。在这种情况下，每个输入序列都由不同的 CNN 子模型读取，并且内部表示在解释和用于进行预测之前进行组合。

在本教程中，我们将探讨如何开发三种不同类型的 CNN 模型用于多步时间序列预测；它们是

• 用于单变量输入数据的多步时间序列预测的 CNN。
• 通过通道处理多变量输入数据的多步时间序列预测的 CNN。
• 通过子模型处理多变量输入数据的多步时间序列预测的 CNN。

这些模型将在家庭用电量预测问题上进行开发和演示。如果模型性能优于朴素模型（七天预测的整体 RMSE 约为 465 千瓦），则认为模型具有技能。

我们不会专注于调整这些模型以实现最佳性能；相反，我们将止步于与朴素预测相比具有技巧的模型。所选的结构和超参数是通过少量试错选择的。

使用单变量 CNN 进行多步时间序列预测

在本节中，我们将开发一个卷积神经网络，用于仅使用每日用电量的单变量序列进行多步时间序列预测。

具体来说，问题的框架是：

给定一些先前的每日总用电量，预测下一个标准周的每日用电量。

用作输入的先前天数定义了 CNN 将读取并学习提取特征的数据的一维 (1D) 子序列。关于此输入的大小和性质的一些想法包括：

• 所有前几天的数据，最多可达数年。
• 之前的七天。
• 之前的两周。
• 之前的一个月。
• 之前的一年。
• 前一周和一年前要预测的那一周。

没有正确答案；相反，可以测试每种方法以及更多方法，并可以使用模型的性能来选择导致最佳模型性能的输入性质。

这些选择定义了关于实现的一些事情，例如：

• 必须如何准备训练数据才能拟合模型。
• 必须如何准备测试数据才能评估模型。
• 如何在未来使用最终模型进行预测。

一个好的起点是使用前七天。

一维 CNN 模型期望数据的形状为

一个样本将由七个时间步和一个特征组成，用于七天的每日总用电量。

训练数据集有 159 周的数据，因此训练数据集的形状将是

这是一个好的开始。这种格式的数据将使用前一个标准周来预测下一个标准周。问题在于 159 个实例对于神经网络来说并不多。

创建更多训练数据的一种方法是在训练期间更改问题，以预测未来七天，给定前七天，无论标准周如何。

这只会影响训练数据，测试问题保持不变：预测下一个标准周的每日用电量，给定前一个标准周。

这需要对训练数据进行一些准备。

训练数据以标准周形式提供，包含八个变量，具体形状为 [159, 7, 8]。第一步是展平数据，以便我们有八个时间序列。

然后，我们需要迭代时间步并将数据划分为重叠窗口；每次迭代沿一个时间步移动并预测随后的七天。

例如

我们可以通过在时间步长上迭代展平数据时，跟踪输入和输出的开始和结束索引来做到这一点。

我们还可以以参数化输入和输出数量（例如 n_input、n_out）的方式进行，以便您可以尝试不同的值或根据您自己的问题进行调整。

下面是一个名为 to_supervised() 的函数，它接受一个星期列表（历史数据）以及用作输入和输出的时间步数，并以重叠移动窗口格式返回数据。

当我们对整个训练数据集运行此函数时，我们将 159 个样本转换为 1,100 个；具体来说，转换后的数据集形状为 X=[1100, 7, 1] 和 y=[1100, 7]。

接下来，我们可以在训练数据上定义和拟合 CNN 模型。

这个多步时间序列预测问题是一个自回归问题。这意味着它最有可能通过以下方式建模：未来七天是先前时间步长观测值的一些函数。这一点和相对少量的数据意味着需要一个小型模型。

我们将使用一个包含 16 个过滤器和内核大小为 3 的卷积层模型。这意味着将以三个时间步长为单位读取七天的输入序列，并且此操作将执行 16 次。池化层将这些特征图缩小到其大小的 1/4，然后将内部表示展平为一个长向量。然后，该向量由一个全连接层进行解释，最后输出层预测序列中的未来七天。

我们将使用均方误差损失函数，因为它与我们选择的 RMSE 误差指标非常匹配。我们将使用高效的Adam随机梯度下降实现，并以 4 的批量大小对模型进行 20 个 epoch 的拟合。

小的批量大小和算法的随机性意味着每次训练时，同一模型都会学习到略有不同的输入到输出映射。这意味着评估模型时结果可能会有所不同。您可以尝试多次运行模型并计算模型性能的平均值。

下面的 build_model() 准备训练数据，定义模型，并在训练数据上拟合模型，返回准备好进行预测的拟合模型。

现在我们知道如何拟合模型了，我们可以看看如何使用模型进行预测。

通常，模型在进行预测时期望数据具有相同的三维形状。

在这种情况下，输入模式的预期形状是一个样本，包含七天的每日用电量的一个特征。

在对测试集进行预测以及未来使用最终模型进行预测时，数据必须具有这种形状。如果将输入天数更改为 14，则训练数据的形状和进行预测时新样本的形状必须相应地更改为 14 个时间步。这是一个建模选择，在使用模型时必须遵循。

我们正在使用前一节中描述的滚动验证来评估模型。

这意味着我们有前一周的观测数据，以便预测下一周。这些数据被收集到名为历史记录的标准周数组中。

为了预测下一个标准周，我们需要检索最后几天的观测值。与训练数据一样，我们必须首先展平历史数据以消除每周结构，以便我们最终得到八个并行时间序列。

接下来，我们需要检索过去七天每日总用电量（特征号 0）。我们将像训练数据一样进行参数化，以便将来可以修改模型用作输入的先前天数。

接下来，我们将输入重塑为预期的三维结构。

然后，我们使用拟合模型和输入数据进行预测，并检索七天输出的向量。

下面的 forecast() 函数实现了这一点，它将拟合在训练数据集上的模型、迄今为止观察到的数据历史以及模型所需的输入时间步数作为参数。

就是这样；我们现在拥有使用 CNN 模型对每日总用电量单变量数据集进行多步时间序列预测所需的一切。

我们可以将所有这些结合起来。完整的示例列于下方。

运行示例拟合并评估模型，打印出所有七天的总体 RMSE，以及每个预测提前期的每日 RMSE。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。考虑运行几次示例并比较平均结果。

我们可以看到，在这种情况下，与朴素预测相比，该模型是有效的，总体 RMSE 约为 404 千瓦，低于朴素模型实现的 465 千瓦。

还创建了每日 RMSE 的图。该图显示，周二和周五可能比其他日子更容易预测，而标准周末的周六可能最难预测。

单变量 CNN 7 天输入模型的每日 RMSE 折线图

我们可以通过更改 n_input 变量，将用作输入的先前天数从 7 天增加到 14 天。

重新运行带有此更改的示例，首先打印模型性能摘要。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。考虑运行几次示例并比较平均结果。

在这种情况下，我们可以看到整体 RMSE 进一步下降，这表明进一步调整输入大小和模型内核大小可能会带来更好的性能。

比较每日 RMSE 分数，我们发现有些比使用第七个输入更好，有些则更差。

这可能表明以某种方式使用两种不同大小的输入会带来好处，例如这两种方法的集成，或者可能是以不同方式读取训练数据的单个模型（例如多头模型）。

单变量 CNN 14 天输入模型的每日 RMSE 折线图

使用多通道 CNN 进行多步时间序列预测

在本节中，我们将更新上一节中开发的 CNN，以使用八个时间序列变量中的每一个来预测下一个标准周的每日总用电量。

我们将通过将每个一维时间序列作为单独的输入通道提供给模型来实现此目的。

然后，CNN 将使用单独的内核，并将每个输入序列读取到一组单独的滤波器图中，从而从每个输入时间序列变量中学习特征。

这对于输出序列是多个不同特征（而不仅仅是或包括正在预测的特征）先前时间步长观测值的某些函数的问题很有帮助。在用电量问题中是否如此尚不清楚，但我们可以对此进行探索。

首先，我们必须更新训练数据的准备工作，以包含所有八个特征，而不仅仅是每日总用电量这一个。这只需要一行代码：

此更改后的完整 to_supervised() 函数如下所示。

我们还必须更新用于使用拟合模型进行预测的函数，以使用先前时间步长的所有八个特征。同样，只进行了一个小改动：

此更改后的完整 forecast() 如下所示

我们将使用前14天的观测数据，涉及八个输入变量，这与前一节的最后部分一样，略微提高了性能。

最后，上一节中使用的模型在这个新的问题框架下表现不佳。

数据量的增加需要一个更大、更复杂的模型，并且需要更长的训练时间。

经过一些反复试验，一个表现良好的模型使用了两个带有32个滤波器图的卷积层，然后是池化，接着是另一个带有16个特征图的卷积层和池化。解释特征的全连接层增加到100个节点，模型以16个样本的批量大小拟合70个epoch。

下面列出了在训练数据集上定义和拟合模型的更新后的build_model()函数。

我们现在拥有开发多通道CNN所需的所有元素，用于多变量输入数据以进行多步时间序列预测。

完整的示例如下所示。

运行示例拟合并评估模型，打印出所有七天的总体 RMSE，以及每个预测提前期的每日 RMSE。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。考虑运行几次示例并比较平均结果。

我们可以看到，在这种情况下，使用所有八个输入变量确实导致整体RMSE分数又下降了一小部分。

对于每日RMSE分数，我们确实看到有些比上一节的单变量CNN好，有些则差。

最后一天，星期六，仍然是一个具有挑战性的预测日，而星期五则是一个容易预测的日子。设计模型以专门减少较难预测日期的误差可能会有一些好处。

看看经过调优的模型或多个不同模型的集成是否能进一步减少每日分数之间的方差可能会很有趣。比较使用七天甚至21天输入数据的模型的性能，看看是否能取得进一步的收益也可能会很有趣。

14天输入的通道CNN的每日RMSE折线图

使用多头 CNN 进行多步时间序列预测

我们可以进一步扩展CNN模型，为每个输入变量设置一个单独的子CNN模型或头部，我们可以将其称为多头CNN模型。

这需要修改模型的准备，进而修改训练和测试数据集的准备。

从模型开始，我们必须为八个输入变量中的每一个定义一个单独的CNN模型。

模型的配置，包括层数及其超参数，也进行了修改，以更好地适应新方法。新配置不是最优的，是通过一些反复试验找到的。

多头模型是使用更灵活的用于定义Keras模型的函数式API指定的。

我们可以遍历每个变量并创建一个子模型，该子模型接受一个14天数据的一维序列，并输出一个包含从序列中学习到的特征摘要的扁平向量。这些向量中的每一个都可以通过连接合并，形成一个非常长的向量，然后由一些全连接层解释，最后进行预测。

当我们构建子模型时，我们会在列表中跟踪输入层和扁平层。这样我们就可以在模型对象的定义中指定输入，并在合并层中使用扁平层列表。

当模型被使用时，它将需要八个数组作为输入：每个子模型一个。

在训练模型、评估模型和使用最终模型进行预测时，这是必需的。

我们可以通过创建3D数组列表来实现这一点，其中每个3D数组包含[样本数，时间步长，1]，具有一个特征。

我们可以按以下格式准备训练数据集

下面列出了经过这些更改的更新后的build_model()函数。