用于单变量时间序列预测的深度学习模型

深度学习神经网络能够自动学习和从原始数据中提取特征。

神经网络的这一特性可用于时间序列预测问题，其中模型可以直接在原始观测数据上开发，而无需直接使用归一化和标准化来缩放数据，也无需通过差分使数据平稳。

令人印象深刻的是，与朴素模型和经过调整的 SARIMA 模型相比，简单的深度学习神经网络模型能够在具有趋势和季节性成分的单变量时间序列预测问题上，在未经预处理的情况下做出熟练的预测。

在本教程中，您将学习如何开发一套用于单变量时间序列预测的深度学习模型。

完成本教程后，您将了解：

• 如何使用滚动验证（walk-forward validation）开发稳健的测试工具，以评估神经网络模型的性能。
• 如何开发和评估用于时间序列预测的简单多层感知器和卷积神经网络。
• 如何开发和评估用于时间序列预测的 LSTM、CNN-LSTM 和 ConvLSTM 神经网络模型。

通过我的新书《时间序列深度学习》**开启您的项目**，包括所有示例的*逐步教程*和*Python 源代码*文件。

让我们开始吧。

• 2019 年 4 月更新：更新了数据集链接。

如何开发单变量时间序列预测的深度学习模型
图片由 Nathaniel McQueen 拍摄，保留部分权利。

教程概述

本教程分为五个部分；它们是：

1. 问题描述
2. 模型评估测试工具
3. 多层感知器模型
4. 卷积神经网络模型
5. 循环神经网络模型

问题描述

“月度汽车销量”数据集总结了1960年至1968年间加拿大魁北克省的月度汽车销量。

直接从这里下载数据集

• monthly-car-sales.csv

将文件保存为“_monthly-car-sales.csv_”在当前工作目录中。

我们可以使用 *read_csv()* 函数将此数据集加载为 Pandas 序列。

加载后，我们可以总结数据集的形状，以确定观测值的数量。

然后我们可以创建序列的折线图，以了解序列的结构。

我们可以将所有这些结合起来；完整的示例如下所示。

运行示例首先打印数据集的形状。

该数据集是月度的，有九年，即108个观测值。在我们的测试中，我们将使用最后一年，即12个观测值，作为测试集。

创建了一个折线图。数据集具有明显的趋势和季节性成分。季节性成分的周期可能是六个月或十二个月。

月度汽车销量的折线图

从之前的实验中我们知道，一个朴素模型可以通过取预测月份前三年观测值的中位数来达到1841.155的均方根误差（RMSE）；例如：

其中负索引指的是序列中相对于预测月份历史数据末尾的观测值。

从先前的实验中我们知道，SARIMA 模型在 SARIMA(0, 0, 0),(1, 1, 0),12 的配置下可以达到 1551.842 的 RMSE，其中未指定趋势元素，并计算了周期为 12 的季节性差分，并使用了单季节的 AR 模型。

朴素模型的性能为被认为是熟练模型的模型提供了下限。任何在最近12个月内预测性能低于1841.155的模型都具有技能。

SARIMA模型的性能提供了衡量问题上好模型的标准。任何在最近12个月内预测性能低于1551.842的模型都应优于SARIMA模型。

现在我们已经定义了问题和模型技能的期望，接下来可以着手定义测试工具。

模型评估测试工具

在本节中，我们将开发一个测试工具，用于开发和评估不同类型的神经网络模型进行单变量时间序列预测。

本节分为以下几个部分

1. 训练-测试集分割
2. 序列作为监督学习
3. 逐时验证
4. 重复评估
5. 总结绩效
6. 实例演示

训练-测试集分割

第一步是将加载的序列分割成训练集和测试集。

我们将使用前八年（96个观测值）进行训练，最后12个观测值作为测试集。

下面的`train_test_split()`函数将分割序列，将原始观测值和用于测试集的观测值数量作为参数。

序列作为监督学习

接下来，我们需要能够将单变量观测序列构建为监督学习问题，以便训练神经网络模型。

将序列构架为监督学习意味着数据需要被分成多个示例，模型可以从中学习并进行泛化。

每个样本必须同时包含输入和输出部分。

输入部分将是之前的一些观测值，例如三年或 36 个时间步长。

输出部分将是下个月的总销售额，因为我们有兴趣开发一个模型来进行一步预测。

我们可以使用 Pandas DataFrame 上的 shift() 函数来实现这一点。它允许我们将一列向下（时间向前）或向后（时间向后）移动。我们可以将序列作为数据列，然后创建该列的多个副本，向前或向后移动，以创建我们所需的包含输入和输出元素的样本。

当序列向下移动时，会引入 NaN 值，因为我们没有超出序列开头的值。

例如，定义为一列的序列

可以提前作为一列进行移位并插入

我们可以看到，在第二行，值 1 作为先前时间步的观测值提供给输入，而 2 是序列中的下一个值，可以被模型预测或学习以在 1 作为输入时进行预测。

带有`NaN`值的行可以被删除。

下面的 `series_to_supervised()` 函数实现了这种行为，允许您为每个样本指定输入中使用的滞后观测值数量以及输出中使用的数量。它还将删除包含 `NaN` 值的行，因为这些行不能用于训练或测试模型。

逐时验证

时间序列预测模型可以通过滚动验证在测试集上进行评估。

滚动验证是一种方法，模型在测试数据集中一次对每个观测值进行预测。在对测试数据集中的某个时间步长进行预测后，该预测的真实观测值将添加到测试数据集中，并提供给模型。

对于简单的模型，可以在进行后续预测之前，用观测值重新拟合模型。对于更复杂的模型，如神经网络，鉴于计算成本更高，则不重新拟合。

然而，时间步长的真实观测值可以作为输入的一部分，用于对下一个时间步长进行预测。

首先，数据集被分割成训练集和测试集。我们将调用 `train_test_split()` 函数来执行此分割，并传入预先指定的用于测试数据的观测值数量。

模型将在给定配置的训练数据集上拟合一次。

我们将定义一个通用的 `model_fit()` 函数来执行此操作，该函数稍后可以填充我们可能感兴趣的特定神经网络类型。该函数接受训练数据集和模型配置，并返回已拟合的模型，准备好进行预测。

测试数据集的每个时间步长都被枚举。使用拟合模型进行预测。

同样，我们将定义一个名为`model_predict()`的通用函数，它接受拟合模型、历史数据和模型配置，并进行一次单步预测。

预测结果被添加到预测列表中，测试集中的真实观测值被添加到观测值列表中，该列表以训练数据集的所有观测值作为种子。该列表在滚动验证的每个步骤中建立，允许模型使用最新历史进行一步预测。

然后可以将所有预测与测试集中的真实值进行比较，并计算误差度量。

我们将计算预测值与真实值之间的均方根误差 (RMSE)。

RMSE的计算方法是预测值与实际值之间平方差的平均值的平方根。下面的`measure_rmse()`函数使用`mean_squared_error()` scikit-learn函数首先计算均方误差（MSE），然后再计算平方根来实现此功能。

下面列出了将所有这些联系起来的完整 `walk_forward_validation()` 函数。

它接受数据集、用作测试集的观测值数量以及模型的配置，并返回模型在测试集上的性能的 RMSE。

重复评估

神经网络模型是随机的。

这意味着，在相同的模型配置和相同的训练数据集下，每次训练模型都会产生一组不同的内部权重，从而导致不同的性能。

这是一个优点，它允许模型具有适应性，并为复杂问题找到高性能配置。

在评估模型性能和选择最终用于预测的模型时，这也是一个问题。

为了解决模型评估问题，我们将通过滚动验证多次评估模型配置，并将误差报告为每次评估的平均误差。

对于大型神经网络，这并非总是可行，可能只适用于可在几分钟或几小时内拟合的小型网络。

下面的 `repeat_evaluate()` 函数实现了这一点，并允许将重复次数指定为可选参数，默认为 30 次，并返回模型性能分数列表：在本例中是 RMSE 值。

总结绩效

最后，我们需要从多次重复中总结模型的性能。

我们将首先使用统计摘要，特别是均值和标准差来总结性能。

我们还将使用箱线图绘制模型性能分数的分布，以帮助了解性能的范围。

下面的 `summarize_scores()` 函数实现了此功能，它接收被评估模型的名称和每次重复评估的分数列表，打印摘要并显示图表。

实例演示

现在我们已经定义了测试工具的各个元素，我们可以将它们整合起来，并定义一个简单的持久化模型。

具体来说，我们将计算相对于预测时间的一组先前观测值的中位数。

我们不需要拟合模型，因此 `model_fit()` 函数将简单地返回 `None`。

我们将使用配置来定义相对于预测时间的先前观测值中的索引偏移量列表，这些偏移量将用作预测。例如，12 将使用 12 个月前（-12）相对于预测时间的观测值。

`model_predict()`函数可以实现为使用此配置收集观测值，然后返回这些观测值的中位数。

下面列出了使用带有简单持久性模型框架的完整示例。

运行示例将打印使用滚动验证在最后12个月数据上评估的模型RMSE。

该模型被评估了 30 次，尽管由于模型没有随机元素，每次得分都相同。

我们可以看到模型的RMSE为1841，这提供了一个性能的下限，我们可以据此评估模型在问题上是否熟练。

汽车销售预测持久性RMSE的箱线图

现在我们有了一个健壮的测试工具，我们可以用它来评估一系列神经网络模型。

多层感知器模型

我们将评估的第一个网络是多层感知器，简称 MLP。

这是一个简单的前馈神经网络模型，在考虑更复杂的模型之前应该先对其进行评估。

MLP 可用于时间序列预测，通过获取多个先前时间步的观测值（称为滞后观测值），并将其用作输入特征，然后预测这些观测值的一个或多个时间步。

这正是上一节中 `series_to_supervised()` 函数提供的问题框架。

因此，训练数据集是一个样本列表，其中每个样本都包含预测时间之前几个月的观测值，预测结果是序列中的下个月。例如：

该模型将尝试对这些样本进行泛化，以便当提供超出模型已知范围的新样本时，它可以预测一些有用的东西；例如

我们将使用 Keras 深度学习库实现一个简单的 MLP。

该模型将有一个输入层，包含一些先前的观测值。这可以通过定义第一个隐藏层时使用 `input_dim` 参数来指定。模型将有一个包含一些节点的单个隐藏层，然后是一个单一的输出层。

我们将在隐藏层上使用修正线性激活函数，因为它表现良好。我们将在输出层上使用线性激活函数（默认），因为我们正在预测一个连续值。

网络的损失函数将是均方误差损失（MSE），我们将使用高效的Adam随机梯度下降变体来训练网络。

模型将进行一定数量的训练周期（对训练数据的暴露次数），并且可以指定批次大小来定义每个周期内权重更新的频率。

下面列出了用于在训练数据集上拟合 MLP 模型的 `model_fit()` 函数。

函数期望配置是一个包含以下配置超参数的列表

• n_input：用作模型输入的滞后观测值数量。
• n_nodes：隐藏层中使用的节点数量。
• n_epochs：模型暴露于整个训练数据集的次数。
• n_batch：每个 epoch 内，权重更新后的样本数量。

使用已拟合的 MLP 模型进行预测与调用 `predict()` 函数并传入进行预测所需的一个样本的输入值一样简单。

为了在已知数据范围之外进行预测，这需要将最后 n 个已知观测值作为一个数组，并将其用作输入。

`predict()` 函数期望在进行预测时提供一个或多个输入样本，因此提供单个样本需要数组的形状为 `[1, n_input]`，其中 `n_input` 是模型期望的输入时间步长数量。

同样，`predict()` 函数返回一个预测数组，每个输入样本一个。如果只有一个预测，则会有一个包含一个值的数组。

下面的 `model_predict()` 函数实现了这种行为，它将模型、先前的观测值和模型配置作为参数，形成一个输入样本并进行一步预测，然后返回该预测。

现在我们拥有一切所需，可以在月度汽车销售数据集上评估 MLP 模型。

对模型超参数进行了一次简单的网格搜索，并选择了下面的配置。这可能不是最佳配置，但这是找到的最好配置。

• n_input: 24 (例如 24 个月)
• 节点数: 500
• 纪元数: 100
• 批次大小: 100

此配置可以定义为列表

请注意，当训练数据被构建为监督学习问题时，只有 72 个样本可用于训练模型。

使用 72 或更大的批次大小意味着模型正在使用批次梯度下降而不是小批量梯度下降进行训练。这通常用于小型数据集，意味着权重更新和梯度计算在每个 epoch 结束时执行，而不是在每个 epoch 内多次执行。

完整的代码示例如下所示。

运行示例将打印模型30次重复评估的RMSE。

注意：由于算法或评估过程的随机性质，或数值精度的差异，您的结果可能会有所不同。请考虑运行示例几次并比较平均结果。

运行结束时，报告了平均和标准差 RMSE，约为 1,526 辆汽车销售。

我们可以看到，平均而言，所选配置的性能优于朴素模型（1841.155）和 SARIMA 模型（1551.842）。

考虑到模型直接在原始数据上操作，没有进行缩放或使数据平稳，这令人印象深刻。

创建了一个RMSE分数的箱线图，以总结模型性能的分布。

这有助于理解分数的分布。我们可以看到，尽管模型的平均性能令人印象深刻，但分布范围很大。标准差略高于134个销售额，这意味着最差情况下的模型运行（误差与平均误差相差2或3个标准差）可能比朴素模型更差。

使用 MLP 模型的一个挑战在于如何利用更高的技能并最小化模型在多次运行中的方差。

这个问题普遍适用于神经网络。您可以使用许多策略，但也许最简单的方法是简单地在所有可用数据上训练多个最终模型，并在进行预测时将它们用于集成，例如，预测是 10 到 30 个模型的平均值。

多层感知器 RMSE 汽车销量预测的箱线图

卷积神经网络模型

卷积神经网络（CNN）是一种为二维图像数据开发的神经网络，尽管它们也可以用于一维数据，如文本序列和时间序列。

当在一维数据上操作时，CNN 会遍历一系列滞后观测值，并学习提取与预测相关的特征。

我们将定义一个具有两个卷积层的CNN，用于从输入序列中提取特征。每个卷积层都将具有可配置的过滤器数量和核大小，并使用修正线性激活函数。过滤器数量决定了加权输入被读取和投影的并行场的数量。核大小定义了网络沿输入序列读取时，每个快照内读取的时间步长数量。

在卷积层之后使用最大池化层，将加权输入特征提炼为最显著的特征，将输入大小减少1/4。池化后的输入被展平为一长向量，然后进行解释并用于进行一步预测。

CNN模型期望输入数据以多个样本的形式呈现，其中每个样本具有多个输入时间步，这与上一节中的MLP相同。

一个区别是 CNN 可以支持每个时间步的多个特征或观测类型，这些特征或观测类型被解释为图像的通道。我们每个时间步只有一个特征，因此输入数据所需的三维形状将是 `[n_samples, n_input, 1]`。

下面列出了用于在训练数据集上拟合 CNN 模型的 `model_fit()` 函数。

模型接受以下五个配置参数列表

• n_input：用作模型输入的滞后观测值数量。
• n_filters：并行滤波器的数量。
• n_kernel：在输入序列每次读取中考虑的时间步长数量。
• n_epochs：模型暴露于整个训练数据集的次数。
• n_batch：每个 epoch 内，权重更新后的样本数量。

使用已拟合的 CNN 模型进行预测与上一节中使用已拟合的 MLP 模型进行预测非常相似。

唯一的区别在于，我们需要指定在每个时间步观察到的特征数量，在本例中为 1。因此，当进行单步预测时，输入数组的形状必须为

下面的 `model_predict()` 函数实现了这种行为。

对模型超参数进行了一次简单的网格搜索，并选择了下面的配置。这并非最佳配置，但已是找到的最佳配置。

选定的配置如下

• n_input: 36 (例如 3 年或 3 * 12)
• 过滤器数量: 256
• 核大小: 3
• 纪元数: 100
• n_batch: 100 (即批量梯度下降)

这可以指定为列表，如下所示

将所有这些联系在一起，完整的示例如下。

运行示例首先打印模型每次重复评估的RMSE。

注意：由于算法或评估过程的随机性质，或数值精度的差异，您的结果可能会有所不同。请考虑运行示例几次并比较平均结果。

运行结束时，我们可以看到模型确实具有技能，平均 RMSE 达到 1,524.067，这优于朴素模型、SARIMA 模型，甚至上一节中的 MLP 模型。

考虑到模型直接在原始数据上操作，没有进行缩放或使数据平稳，这令人印象深刻。

分数的标准差很大，约为 57 销量，但仅为上一节 MLP 模型观察到的方差的三分之一。我们有一定信心，在最坏情况下（3 个标准差），模型的 RMSE 将保持低于（优于）朴素模型的性能。

创建了一个分数的箱线图，以帮助理解各次运行中误差的分布。

我们可以看到，误差的分布确实偏向于较大的误差值，正如我们所预期的那样，尽管图中上方的胡须（在这种情况下，不是异常值的最大误差）的 RMSE 仍然限制在 1,650 销量。

卷积神经网络 RMSE 汽车销量预测的箱线图

循环神经网络模型

循环神经网络（RNN）是一类神经网络，它利用网络在前一步的输出作为输入，试图自动学习序列数据。

长短期记忆（LSTM）网络是一种 RNN，其实现解决了在序列数据上训练 RNN 导致稳定模型的一般困难。它通过学习内部门的权重来实现这一点，这些内部门控制着每个节点内部的循环连接。

尽管是为序列数据开发的，但 LSTM 尚未证明在时间序列预测问题上有效，其中输出是近期观测值的函数，例如自回归型预测问题，如汽车销售数据集。

尽管如此，我们可以开发 LSTM 模型来解决自回归问题，并将其作为与其他神经网络模型进行比较的参考点。

在本节中，我们将探讨用于单变量时间序列预测的 LSTM 模型的三种变体；它们是：

• LSTM：原汁原味的 LSTM 网络。
• CNN-LSTM：一个学习输入特征的 CNN 网络和一个解释这些特征的 LSTM。
• ConvLSTM：CNN 和 LSTM 的结合，其中 LSTM 单元使用 CNN 的卷积过程读取输入数据。

LSTM

LSTM 神经网络可用于单变量时间序列预测。

作为一个 RNN，它将逐个时间步读取输入序列。LSTM 具有内部记忆，使其能够在读取给定输入序列的步骤时积累内部状态。

序列结束时，隐藏 LSTM 单元层中的每个节点都将输出一个值。这个值向量总结了 LSTM 从输入序列中学习或提取的内容。这可以由全连接层进行解释，然后进行最终预测。

与 CNN 类似，LSTM 可以在每个时间步支持多个变量或特征。由于汽车销售数据集在每个时间步只有一个值，我们可以将其固定为 1，无论是在 `input_shape` 参数 `[n_input, 1]` 中定义网络输入时，还是在定义输入样本的形状时。

与不逐个时间步读取序列数据的 MLP 和 CNN 不同，如果数据是平稳的，LSTM 的表现会更好。这意味着执行差分操作以消除趋势和季节性结构。

对于汽车销售数据集，我们可以通过进行季节性调整使数据平稳，即从每个观测值中减去一年前的值。

这可以对整个训练数据集系统地执行。这也意味着必须丢弃第一年的观测值，因为我们没有前一年的数据可供它们进行差分。

下面的 `difference()` 函数将使用给定的偏移量（称为差分阶数，例如 12 代表一年前的月份）对给定的数据集进行差分。

我们可以将差分阶数设置为模型的超参数，并且仅当提供的值不为零时才执行该操作。

下面提供了用于拟合 LSTM 模型的 `model_fit()` 函数。

模型期望一个包含五个模型超参数的列表；它们是：

• n_input：用作模型输入的滞后观测值数量。
• n_nodes：隐藏层中使用的 LSTM 单元数量。
• n_epochs：模型暴露于整个训练数据集的次数。
• n_batch：每个 epoch 内，权重更新后的样本数量。
• n_diff：差分阶数，如果未使用则为 0。

使用 LSTM 模型进行预测与使用 CNN 模型进行预测相同。

单个输入必须具有样本、时间步和特征的三维结构，在这种情况下，我们只有一个样本和一个特征：`[1, n_input, 1]`。

如果执行了差分操作，我们必须在模型做出预测后将减去的值加回来。我们还必须在构建用于预测的单个输入之前对历史数据进行差分。

下面的 `model_predict()` 函数实现了这种行为。

对模型超参数进行了一次简单的网格搜索，并选择了下面的配置。这并非最佳配置，但已是找到的最佳配置。

选定的配置如下

• n_input: 36 (即 3 年或 3 * 12)
• 节点数: 50
• 纪元数: 100
• n_batch: 100 (即批量梯度下降)
• n_diff: 12 (即季节性差异)

这可以指定为列表

将所有这些联系在一起，完整的示例如下。