Python 中使用 LSTM 进行多步时间序列预测

长短期记忆网络（LSTM）是一种循环神经网络，可以学习和预测长序列。

LSTM 的一个优点是除了学习长序列外，它们还可以学习进行一次性的多步预测，这对于时间序列预测可能很有用。

LSTM 的一个难点在于配置它们可能很棘手，并且需要大量准备才能使数据以正确的格式进行学习。

在本教程中，您将了解如何在 Python 中使用 Keras 为多步时间序列预测开发 LSTM。

完成本教程后，您将了解：

• 如何为多步时间序列预测准备数据。
• 如何为多步时间序列预测开发 LSTM 模型。
• 如何评估多步时间序列预测。

开始您的项目，阅读我的新书《深度学习时间序列预测》，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

• 2019 年 4 月更新：更新了数据集链接。

Python 中使用长短期记忆网络进行多步时间序列预测
照片作者：Tom Babich，保留部分权利。

教程概述

本教程分为 4 个部分；它们是

1. 洗发水销售数据集
2. 数据准备和模型评估
3. 持续模型
4. 多步 LSTM

环境

本教程假定您已安装 Python SciPy 环境。您可以使用 Python 2 或 3。

本教程假定您已安装 Keras v2.0 或更高版本，并使用 TensorFlow 或 Theano 后端。

本教程还假定您已安装 scikit-learn、Pandas、NumPy 和 Matplotlib。

如果您需要帮助设置 Python 环境，请参阅此帖子

• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境

接下来，让我们看看一个标准的时间序列预测问题，我们可以将其作为本次实验的背景。

洗发水销售数据集

此数据集描述了 3 年期间洗发水月销量。

单位是销售计数，共有 36 个观测值。原始数据集归功于 Makridakis、Wheelwright 和 Hyndman (1998)。

• 下载数据集.

以下示例加载并创建加载数据集的图表。

运行该示例将数据集作为 Pandas Series 加载并打印前 5 行。

然后创建该系列的线图，显示出明显的上升趋势。

洗发水销售数据集的折线图

接下来，我们将看一下实验中使用的模型配置和测试工具。

数据准备和模型评估

本节介绍本教程中使用的和数据准备和模型评估

数据分割

我们将把洗发水销售数据集分为两部分：训练集和测试集。

前两年的数据将用于训练数据集，剩下的一年数据将用于测试集。

模型将使用训练数据集进行开发，并对测试数据集进行预测。

供参考，最近 12 个月的观测值如下

多步预测

我们将构造一个多步预测。

对于数据集中最后 12 个月的某个月，我们将需要进行 3 个月的预测。

即给定历史观测值（t-1，t-2，… t-n），预测 t、t+1 和 t+2。

具体来说，从第二年的 12 月开始，我们必须预测 1 月、2 月和 3 月。从 1 月开始，我们必须预测 2 月、3 月和 4 月。一直到第三年的 9 月进行 10 月、11 月和 12 月的预测。

总共需要 10 次 3 个月的预测，如下所示

模型评估

将使用滚动预测方案，也称为向前验证模型。

测试数据集的每个时间步都将逐一进行。模型将用于预测时间步，然后将从测试集中获取下一个月的实际预期值，并使其可用于模型进行下一个时间步的预测。

这模拟了现实世界场景，其中每个月都会有新的洗发水销售观察值，并用于预测下个月。

这将通过训练和测试数据集的结构进行模拟。

将收集测试数据集上的所有预测，并计算误差分数以总结模型在每个预测时间步的技能。将使用均方根误差 (RMSE)，因为它会惩罚较大的误差，并且得出的分数与预测数据的单位相同，即月度洗发水销量。

持续模型

时间序列预测的一个良好基准是持续模型。

这是一个将最后一个观测值向前持续的预测模型。由于其简单性，它通常被称为朴素预测。

您可以在以下帖子中了解更多关于时间序列预测的持续模型的信息

• 如何使用 Python 为时间序列预测制作基线预测

2. 准备数据

第一步是将数据从序列转换为监督学习问题。

即从数字列表到输入和输出模式列表。我们可以使用一个预先准备好的名为 series_to_supervised() 的函数来实现这一点。

有关此函数的更多信息，请参阅帖子

• 如何在 Python 中将时间序列转换为监督学习问题

该函数列示如下。

通过传入加载的序列值，并将 n_in 值设置为 1，n_out 值设置为 3，可以调用该函数；例如

接下来，我们可以将监督学习数据集分割为训练集和测试集。

我们知道，在这种形式下，最后 10 行包含第二年的数据。这些行构成测试集，其余数据构成训练数据集。

我们可以将所有这些内容放入一个新函数中，该函数接收加载的序列和一些参数，并返回一个已准备好进行建模的训练集和测试集。

我们可以用洗发水数据集来测试这个。完整的示例将在下面列出。

运行示例首先打印整个测试数据集，即最后 10 行。还会打印训练和测试数据集的形状和大小。

我们可以看到测试数据集第一行的单个输入值（第一列）与第二年 12 月洗发水销量中的观测值相匹配。

我们还可以看到，每行包含 4 列，用于每个观测值中的 1 个输入值和 3 个输出值。

进行预测

下一步是进行持续预测。

我们可以轻松地将持续预测实现到一个名为 persistence() 的函数中，该函数接收最后一个观测值和要持续的预测步数。此函数返回一个包含预测的数组。

然后，我们可以从第二年的 12 月到第三年的 9 月，为测试数据集中的每个时间步调用此函数。

下面是一个执行此操作的函数 make_forecasts()，它将训练集、测试集和数据集配置作为参数，并返回一个预测列表。

我们可以这样调用该函数

评估预测

最后一步是评估预测。

我们可以通过计算多步预测的每个时间步的 RMSE 来做到这一点，在这种情况下，我们将得到 3 个 RMSE 分数。下面的 evaluate_forecasts() 函数计算并打印每个预测时间步的 RMSE。

我们可以像这样调用它

将预测与原始数据集中的上下文进行绘制也有助于了解 RMSE 分数与问题的关系。

我们可以首先绘制整个洗发水数据集，然后将每个预测绘制为红线。下面的 plot_forecasts() 函数将创建并显示此图。

我们可以像这样调用该函数。请注意，测试集中的观测值数量为 12 个月（12 个），而不是像上面使用的 10 个监督学习输入/输出模式。

通过将持续预测与原始数据集中的实际持续值连接起来，我们可以使图表更好。

这将需要将最后一个观测值添加到预测的前面。下面是 plot_forecasts() 函数的更新版本，包含了这项改进。

完整示例

我们可以将所有这些部分组合在一起。

多步持续预测的完整代码示例列在下面。

运行该示例首先会为每个预测的时间步长打印 RMSE。

注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能会有所不同。考虑运行几次示例并比较平均结果。

这为我们提供了每个时间步长的性能基准，这是我们期望 LSTM 能够超越的。

还创建了原始时间序列与多步持续预测的图。线条连接到每个预测的适当输入值。

这种背景显示了持续预测的朴素程度。

带有步骤持续预测的洗发水销售数据集的折线图

多步 LSTM 网络

在本节中，我们将以持续性示例为起点，并查看将 LSTM 拟合到训练数据并为测试数据集进行多步预测所需的更改。

2. 准备数据

在我们可以使用数据训练 LSTM 之前，必须先进行准备。

具体来说，需要进行另外两个更改：

1. 平稳性。数据显示出增加的趋势，必须通过差分去除。
2. 缩放。数据的大小必须减小到 -1 和 1 之间的值，这是 LSTM 单元的激活函数。

我们可以引入一个名为 difference() 的函数来使数据平稳。这将把值序列转换为差值序列，后者是更容易处理的表示。

我们可以使用 sklearn 库中的 MinMaxScaler 来缩放数据。

将这些放在一起，我们可以更新 prepare_data() 函数，使其首先对数据进行差分和重新缩放，然后像之前对持续性示例一样，执行转换为监督学习问题和训练测试集。

该函数现在除了训练集和测试集之外，还返回一个 scaler。

我们可以这样调用该函数

拟合 LSTM 网络

接下来，我们需要将 LSTM 网络模型拟合到训练数据。

这首先要求将训练数据集从 2D 数组 [样本, 特征] 转换为 3D 数组 [样本, 时间步, 特征]。我们将时间步固定为 1，因此此更改很简单。

接下来，我们需要设计一个 LSTM 网络。我们将使用一个简单的结构，其中包含 1 个具有 1 个 LSTM 单元的隐藏层，然后是一个具有线性激活和 3 个输出值的输出层。该网络将使用均方误差损失函数和高效的 ADAM 优化算法。

LSTM 是有状态的；这意味着我们必须在每个训练周期结束时手动重置网络的状。网络将训练 1500 个周期。

训练和预测必须使用相同的批量大小，并且我们需要在测试数据集的每个时间步长进行预测。这意味着必须使用批量大小为 1。批量大小为 1 也称为在线学习，因为网络权重将在每次训练模式后（而不是 mini batch 或 batch 更新）更新。

我们可以将所有这些组合到一个名为 fit_lstm() 的函数中。该函数接受一些关键参数，这些参数可用于以后调整网络，并且该函数返回一个已拟合的 LSTM 模型，可用于预测。

可以如下调用该函数：

网络的配置尚未调整；您可以尝试不同的参数。

请在下面的评论中报告您的发现。我很想看看您能得到什么。

进行 LSTM 预测

下一步是使用已拟合的 LSTM 网络进行预测。

可以通过调用 model.predict() 来使用已拟合的 LSTM 网络进行单个预测。同样，数据必须格式化为 3D 数组，格式为 [样本, 时间步, 特征]。

我们可以将此包装到一个名为 forecast_lstm() 的函数中。

我们可以从 make_forecasts() 函数调用此函数，并更新它以接受模型作为参数。更新版本如下所示。

更新后的 make_forecasts() 版本可以如下调用：

反转换

在进行预测后，我们需要反转换，将值恢复到原始尺度。

这是必需的，以便我们可以计算误差分数和与其他模型（如上面的持续预测）可比较的图。

我们可以直接使用提供 inverse_transform() 函数的 MinMaxScaler 对象来反转换预测的尺度。

通过将最后一个观测值（前几个月的洗发水销量）添加到第一个预测值，然后将该值向下传播到预测中，我们可以通过添加最后一个观测值来反转换差分。

这有点棘手；我们可以将此行为包装到一个名为 inverse_difference() 的函数中，该函数将最后一个观测值（在预测之前）和预测作为参数，并返回反转换后的预测。

将这些放在一起，我们可以创建一个 inverse_transform() 函数，该函数遍历每个预测，首先反转换尺度，然后反转换差分，将预测恢复到其原始尺度。

我们可以使用预测来调用此函数：

我们还可以反转换输出部分的测试数据集，以便我们可以正确计算 RMSE 分数，如下所示：

我们还可以简化 RMSE 分数的计算，使测试数据只包含输出值，如下所示：

完整示例

我们可以将所有这些部分结合起来，将 LSTM 网络拟合到多步时间序列预测问题。

完整的代码列表如下。

运行该示例首先会为每个预测的时间步长打印 RMSE。

注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能会有所不同。考虑运行几次示例并比较平均结果。

我们可以看到，在每个预测的时间步长上，分数都比持续性预测要好，在某些情况下甚至好得多。

这表明配置好的 LSTM 在此问题上确实具有预测能力。

有趣的是，正如预期的那样，均方根误差（RMSE）并没有随着预测范围的长度而逐渐变差。这一点在 t+2 比 t+1 更容易预测的事实中得到了体现。这可能是因为与系列中观察到的向上波动相比，向下波动更容易预测（这一点可以通过对结果进行更深入的分析来证实）。

还创建了包含系列（蓝色）和预测（红色）的折线图。

该图显示，尽管模型的预测能力有所提高，但一些预测效果并不好，仍有很大的改进空间。

洗发水销售数据集的折线图与多步 LSTM 预测

扩展

如果您想深入研究本教程，可以考虑以下一些扩展。

• 更新 LSTM。将示例修改为在获得新数据后重新拟合或更新 LSTM。训练 10 个 epoch 应该足以用新的观测值重新训练。
• 调整 LSTM。对教程中使用的一些 LSTM 参数进行网格搜索，例如 epoch 数、神经元数和层数，看看是否能进一步提升性能。
• Seq2Seq。使用 LSTM 的编码器-解码器范例来预测每个序列，看看这是否能带来任何好处。
• 预测范围。尝试预测不同的时间范围，并观察网络在不同超前时间下的行为变化。

你尝试过这些扩展吗？
请在评论区分享您的结果；我很乐意倾听。

总结

在本教程中，您了解了如何为多步时间序列预测开发 LSTM 网络。

具体来说，你学到了：

• 如何为多步时间序列预测开发持久性模型。
• 如何为多步时间序列预测开发 LSTM 网络。
• 如何评估和绘制多步时间序列预测的结果。

关于使用 LSTM 进行多步时间序列预测，您有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发时间序列深度学习模型！

在几分钟内开发您自己的预测模型

...只需几行python代码

在我的新电子书中探索如何实现
用于时间序列预测的深度学习

它提供关于以下主题的自学教程：
CNN、LSTM、多元预测、多步预测等等...

最终将深度学习应用于您的时间序列预测项目

跳过学术理论。只看结果。

查看内容