有状态和无状态 LSTM 用于 Python 时间序列预测

Keras Python深度学习库支持有状态和无状态的长短期记忆（LSTM）网络。

在使用有状态LSTM网络时，我们可以精细地控制LSTM网络的内部状态何时被重置。因此，了解在拟合和进行LSTM网络预测时管理此内部状态的不同方法，以影响网络的技能，这一点非常重要。

在本教程中，您将探讨Keras中有状态和无状态LSTM网络在时间序列预测方面的性能。

完成本教程后，您将了解：

• 如何为时间序列预测比较和对比有状态和无状态LSTM网络。
• 无状态LSTM中的批量大小与有状态LSTM网络的关系。
• 如何评估和比较有状态LSTM网络的各种状态重置机制。

开始您的项目，阅读我的新书《时间序列预测深度学习》，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

• 2019 年 4 月更新：更新了数据集链接。

有状态和无状态 LSTM 用于 Python 时间序列预测
照片由m01229拍摄，保留部分权利。

教程概述

本教程分为7个部分，它们是：

1. 洗发水销售数据集
2. 实验测试框架
3. A vs A 测试
4. 有状态 vs 无状态
5. 大批量无状态 vs 无状态
6. 有状态重置 vs 无状态
7. 结果回顾

环境

本教程假定您已安装 Python SciPy 环境。您可以使用 Python 2 或 3。

本教程假定您已安装 Keras v2.0 或更高版本，并使用 TensorFlow 或 Theano 后端。

本教程还假定您已安装 scikit-learn、Pandas、NumPy 和 Matplotlib。

如果您需要帮助设置 Python 环境，请参阅此帖子

• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境

洗发水销售数据集

此数据集描述了 3 年期间洗发水月销量。

单位是销售计数，共有 36 个观测值。原始数据集归功于 Makridakis、Wheelwright 和 Hyndman (1998)。

• 下载数据集.

以下示例加载并创建加载数据集的图表。

运行该示例将数据集作为 Pandas Series 加载并打印前 5 行。

然后创建该系列的线图，显示出明显的上升趋势。

洗发水销售数据集的折线图

接下来，我们将看看实验中使用的LSTM配置和测试框架。

实验测试框架

本节将介绍本教程中使用的测试框架。

数据分割

我们将把洗发水销售数据集分为两部分：训练集和测试集。

前两年的数据将用于训练数据集，剩下的一年数据将用于测试集。

模型将使用训练数据集进行开发，并对测试数据集进行预测。

在测试数据集上的持久性预测（朴素预测）实现了136.761个月洗发水销量的误差。这为测试集上的性能提供了一个可接受的较低界限。

模型评估

将使用滚动预测方案，也称为向前验证模型。

测试数据集的每个时间步将逐一进行。模型将用于预测时间步，然后从测试集中获取实际期望值，并将其提供给模型以进行下一个时间步的预测。

这模拟了现实世界场景，其中每个月都会有新的洗发水销售观察值，并用于预测下个月。

这将通过训练和测试数据集的结构进行模拟。

将收集测试数据集上的所有预测，并计算误差分数来总结模型的技能。将使用均方根误差（RMSE），因为它会惩罚大的误差，并且得出的分数与预测数据的单位相同，即月度洗发水销量。

数据准备

在我们使用 LSTM 模型拟合数据集之前，我们必须转换数据。

在拟合模型和进行预测之前，对数据集执行以下三种数据转换。

1. 转换时间序列数据使其平稳。具体来说，进行 lag=1 的差分以消除数据中不断增长的趋势。
2. 将时间序列转换为监督学习问题。具体来说，是将数据组织成输入和输出模式，其中前一个时间步的观测值用作当前时间步观测值的预测输入。
3. 转换观测值以具有特定比例。具体来说，将数据重新缩放到-1到1之间的值，以满足LSTM模型的默认双曲正切激活函数。

在计算误差分数之前，这些转换将被应用于预测中，以将它们恢复到其原始尺度。

LSTM 模型

我们将使用一个基础的状态LSTM模型，包含1个神经元，训练1000个周期。

需要批量大小为1，因为我们将使用前向验证，并对测试数据最后12个月的每个月进行单步预测。

批量大小为1意味着模型将使用在线训练（而不是批量训练或小批量训练）进行拟合。因此，预计模型拟合会存在一些方差。

理想情况下，会使用更多的训练周期（例如1500个），但为了使运行时间合理，此处截断为1000个。

模型将使用高效的ADAM优化算法和均方误差损失函数进行拟合。

实验运行

每个实验场景将运行10次。

这样做的原因是，LSTM网络的随机初始条件每次训练给定配置时都可能导致非常不同的结果。

让我们开始实验。

A vs A 测试

一个很好的首次实验是评估我们的测试机制的噪声或可靠性。

这可以通过运行相同的实验两次并比较结果来评估。这在A/B测试的世界中通常被称为A vs A测试，我发现这个名称很有用。其思想是找出实验中的任何明显缺陷，并掌握平均值的预期方差。

我们将运行一个在网络上使用有状态LSTM的实验两次。

完整的代码列表如下。

此代码也为本教程中所有实验提供了基础。由于后续部分中为每个变体重复列出代码会比较冗长，因此我只列出已更改的函数。

运行实验会将结果保存到名为“experiment_stateful.csv”的文件中。

再次运行实验，并将实验写入的文件名更改为“experiment_stateful2.csv”，以避免覆盖第一次运行的结果。

现在，您应该在当前工作目录的文件中有两组结果：

• experiment_stateful.csv
• experiment_stateful2.csv

我们现在可以加载并比较这两个文件。执行此操作的脚本如下所示。

此脚本加载结果文件，并首先计算每次运行的描述性统计信息。

注意：您的结果可能因算法或评估程序的随机性，或数值精度的差异而有所不同。请考虑运行示例几次并比较平均结果。

我们可以看到，平均结果和标准差是相对接近的值（分别约为103-106和7-10）。这是一个好迹象，但并不完美。如果增加重复实验的次数从10增加到30、100甚至1000，预计会产生几乎相同的汇总统计数据。

该比较还创建了一个箱形图来比较这两个分布。

该图显示了每次实验的 10 个测试 RMSE 结果的第 25、50（中位数）和第 75 百分位数。箱体显示了数据的中间 50%，绿色线显示了中位数。

该图显示，尽管描述性统计数据相当接近，但分布确实显示出一些差异。

尽管如此，这两个分布确实存在重叠，只要我们不纠结于均值上的微小差异，对不同实验设置的均值和标准差进行比较是合理的。

A vs A 实验结果的箱形图

对本次分析的一个很好的后续是，回顾具有不同样本量的分布的标准误差。这首先需要创建一个更大的实验运行池（100 或 1000），这将很好地说明一个稳健的重复次数和一个预期的均值误差，以便进行结果比较。

有状态 vs 无状态 LSTM

一个好的首次实验是探索在 LSTM 中保持状态是否比不保持状态更有价值。

在本节中，我们将对比

1. 有状态 LSTM（上一节的第一个结果）。
2. 具有相同配置的无状态 LSTM。
3. 在训练期间进行洗牌的无状态 LSTM。

LSTM 网络的好处是它们能够维护状态并学习序列。

• 预期 1：预期有状态 LSTM 的性能将优于无状态 LSTM。

为了提高 MLP 网络在训练期间的泛化能力，通常会在每个批次或每个周期对输入模式进行洗牌。无状态 LSTM 在训练期间不会对输入模式进行洗牌，因为网络旨在学习模式的序列。我们将测试一个带和不带洗牌的无状态 LSTM。

• 预期 2：预期不进行洗牌的无状态 LSTM 将优于进行洗牌的无状态 LSTM。

使上述有状态 LSTM 示例无状态的代码更改涉及在 LSTM 层中设置 `stateful=False`，并使用自动训练周期训练而不是手动训练。结果被写入一个名为“experiment_stateless.csv”的新文件中。更新的 `fit_lstm()` 函数列在下面。

带洗牌的无状态实验涉及在调用 `fit_lstm()` 函数中的 `fit` 时将 `shuffle` 参数设置为 `True`。此实验的结果被写入名为“experiment_stateless_shuffle.csv”的文件中。

下面列出了完整的更新的 `fit_lstm()` 函数。

运行这些实验后，您应该有三个结果文件用于比较

• experiment_stateful.csv
• experiment_stateless.csv
• experiment_stateless_shuffle.csv

我们现在可以加载并比较这些结果。比较结果的完整示例列在下面。

运行示例首先会计算并打印每个实验的描述性统计数据。

注意：您的结果可能因算法或评估程序的随机性，或数值精度的差异而有所不同。请考虑运行示例几次并比较平均结果。

平均结果表明，无状态 LSTM 配置的性能可能优于有状态配置。如果结果可靠，这一发现是相当令人惊讶的，因为它不符合状态的增加会提高性能的预期。

对于无状态 LSTM，训练样本的洗牌似乎没有产生大的差异。如果结果是可靠的，那么训练顺序的洗牌对无状态 LSTM 似乎提供了一些好处。

总而言之，这些发现可能进一步表明，所选的 LSTM 配置更侧重于学习输入-输出对，而不是序列中的依赖关系。

仅根据这些有限的结果，人们会考虑在此问题上探索无状态 LSTM。

还创建了一个箱形图来比较分布。

与无状态情况相比，有状态配置的数据分布看起来要大得多。当我们查看标准差分数时，这在描述性统计中也存在。

这表明无状态配置可能更稳定。

有状态 vs 无状态 LSTM 结果的测试 RMSE 箱形图

无状态大批次 vs 无状态

理解有状态和无状态 LSTM 之间差异的关键是“何时重置内部状态”。

• 无状态：在无状态 LSTM 配置中，在每次训练批次或进行预测时，内部状态都会被重置。
• 有状态：在有状态 LSTM 配置中，内部状态仅在调用 `reset_state()` 函数时重置。

如果这是唯一的区别，那么使用大批次大小的无状态 LSTM 可能会模拟有状态 LSTM。

• 预期 3：当使用相同的批次大小时，无状态和有状态 LSTM 应该产生几乎相同的 결과。

我们可以使用洗发水销售数据集来实现这一点，将训练数据截断为仅 12 个月，而测试数据保留 12 个月。这将允许无状态 LSTM 使用批次大小为 12。如果训练和测试是单次执行的（一个函数调用），那么“stateless”LSTM 的内部状态可能不会被重置，并且两种配置都会产生等效的结果。

我们将使用第一个实验的有状态结果作为起点。修改 `forecast_lstm()` 函数以一步预测一年的观测值。修改 `experiment()` 函数以将训练数据集截断为 12 个月的数据，使用批次大小为 12，并处理从 `forecast_lstm()` 函数返回的批处理预测。这些更新后的函数列在下面。结果被写入文件“experiment_stateful_batch12.csv”。

我们将使用上一实验中无状态 LSTM 配置，并且关闭了训练模式洗牌的设置作为起点。该实验使用了相同的 `forecast_lstm()` 和 `experiment()` 函数。结果被写入名为“experiment_stateless_batch12.csv”的文件中。

运行此实验后，您将获得两个结果文件

• experiment_stateful_batch12.csv
• experiment_stateless_batch12.csv

我们现在可以比较这些实验的结果。

运行比较脚本首先计算并打印每个实验的描述性统计数据。

注意：您的结果可能因算法或评估程序的随机性，或数值精度的差异而有所不同。请考虑运行示例几次并比较平均结果。

每个实验的平均结果表明，具有相同批次大小的无状态和有状态配置之间具有等效的结果。这证实了我们的预期。

如果此结果是可靠的，那么它表明 Keras 中无状态和有状态 LSTM 网络之间除了内部状态重置的时间之外，没有其他实现细节上的差异。

还创建了一个箱形图来比较分布。

该图证实了描述性统计中的说法，也许只是突显了实验设计的可变性。

有状态 vs 无状态大批次大小 LSTM 结果的测试 RMSE 箱形图

有状态重置 vs 无状态

关于有状态 LSTM 的另一个问题是执行重置状态的最佳机制。

通常，我们期望在每次呈现序列后重置状态是一个好主意。

• 预期 4：每次训练周期后重置状态可提高测试性能。

这会引发一个问题，即如何最好地管理状态以进行预测。例如，是否应该通过首先在训练数据集上进行预测来为网络播种状态？

• 预期 5：通过在测试数据集上进行预测之前在训练数据集上进行预测来播种 LSTM 状态可提高测试性能。

我们也期望在测试集上进行一次性预测时，不重置 LSTM 状态会是一个好主意。

• 预期 6：在测试集上进行一次性预测时，不重置状态可提高测试集性能。

此外，还有是否重置状态的问题。在本节中，我们将尝试找出这些问题的答案。

我们将再次使用所有可用数据和批次大小为 1 进行一次性预测。

总结来说，我们将比较以下实验设置

无播种

• noseed_1：每次训练周期后重置状态，测试时不重置（第一个实验中的有状态结果，在 `experiment_stateful.csv` 中）。
• noseed_2：每次训练周期后重置状态，并且在每次一次性预测后重置状态（`experiment_stateful_reset_test.csv`）。
• noseed_3：训练或进行一次性预测后不重置状态（`experiment_stateful_noreset.csv`）。

播种

• seed_1：每次训练周期后重置状态，在进行测试数据集的一次性预测之前，使用训练数据集的预测来播种状态（`experiment_stateful_seed_train.csv`）。
• seed_2：每次训练周期后重置状态，在进行测试数据集的一次性预测之前，使用训练数据集的预测来播种状态，并在训练和测试集上每次一次性预测后重置状态（`experiment_stateful_seed_train_resets.csv`）。
• seed_3：在进行一次性预测之前，在训练数据集上播种状态，在训练或预测期间不重置状态（`experiment_stateful_seed_train_no_resets.csv`）。

第一个“A vs A”实验中的有状态实验代码用作基础。

下面列出了创建这些 6 个实验所需的各种重置/不重置和播种/不播种的修改。

我们可以通过在每次测试后添加 `reset_states()` 的调用来更新 `forecast_lstm()` 函数，以便在每次预测后更新模型。更新的 `forecast_lstm()` 函数列在下面。

我们可以通过删除 `reset_states()` 的调用来更新 `fit_lstm()` 函数，使其在每个周期后不重置。完整的函数列在下面。

我们可以通过循环遍历训练数据集并进行一次性预测来播种 LSTM 的状态，即在训练后使用训练数据集上的预测状态。这可以在进行测试数据集的一次性预测之前添加到 `run()` 函数中。更新的 `run()` 函数列在下面。

至此，完成了创建这 6 个实验代码所需的所有分段修改。

运行这些实验后，您将获得以下结果文件

• experiment_stateful.csv
• experiment_stateful_reset_test.csv
• experiment_stateful_noreset.csv
• experiment_stateful_seed_train.csv
• experiment_stateful_seed_train_resets.csv
• experiment_stateful_seed_train_no_resets.csv

我们现在可以比较结果，使用下面的脚本。

运行比较后，将打印每组结果的描述性统计数据。

注意：您的结果可能因算法或评估程序的随机性，或数值精度的差异而有所不同。请考虑运行示例几次并比较平均结果。

无播种的结果表明，在测试数据集上进行预测后重置状态与不重置状态之间差异不大。这表明从一次预测到另一次预测积累的任何状态都没有增加价值，或者该状态已通过 Keras API 隐式清除。这是一个令人惊讶的结果。

无播种案例的结果也表明，训练期间不重置状态会导致比在每个周期结束时重置状态更差的平均性能和更大的方差。这证实了在每个训练周期结束时重置状态是一个好习惯的预期。

播种实验的平均结果表明，在测试数据集上进行预测之前，使用训练数据集的预测来播种 LSTM 状态是中性的，如果不是略差的话。

在训练和测试集上每次预测后重置状态似乎能获得稍好的性能，而训练或测试期间不重置状态似乎能获得最佳性能。

关于播种的这些结果令人惊讶，但我们应该注意到，平均值都在每月洗发水销售的 5 个测试 RMSE 范围内，可能是统计噪声。

还创建了一个箱形图来比较分布。

该图讲述了与描述性统计相同的故事。它突显了在没有播种的情况下，对无状态 LSTM 不进行重置时数据散布的增加。它还突显了播种 LSTM 状态的实验的普遍紧密散布。

有状态 LSTM 中重置机制的测试 RMSE 箱形图

结果回顾

在本节中，我们回顾了整个教程中的发现。

• 对选定配置的实验重复 10 次，会导致测试 RMSE 的均值和标准差出现一些变化，大约为每月洗发水销售额的 3 个单位。更多的重复有望收紧这一点。
• 对于这个问题，具有相同配置的无状态 LSTM 可能比有状态版本表现更好。
• 在无状态 LSTM 中不对训练模式进行洗牌可能导致性能略有提高。
• 当使用大批次大小时，可以使用无状态 LSTM 来模拟有状态 LSTM。
• 在使用有状态 LSTM 进行一次性预测时重置状态可能会提高测试集的性能。
• 通过在测试数据集上进行预测之前，在训练数据集上进行预测来播种有状态 LSTM 的状态，并不会在测试集上带来明显的性能提升。
• 拟合一个有状态 LSTM，并在训练数据集上对其进行播种，并且在训练或预测期间不进行任何状态重置，可能会在测试集上获得更好的性能。

必须指出的是，这些发现应通过增加每个实验的重复次数并使用统计显著性检验确认差异是否显著来使其更加稳健。

还应指出的是，这些结果适用于这个特定问题、其表述方式以及所选的 LSTM 配置参数，包括拓扑结构、批次大小和训练周期。

总结

在本教程中，您将了解如何在 Python 中使用 Keras 对时间序列预测的有状态 vs 无状态 LSTM 网络的影响进行调查。

具体来说，你学到了：

• 如何比较用于时间序列预测的无状态 vs 有状态 LSTM 网络。
• 如何确认无状态 LSTM 和具有大批次大小的有状态 LSTM 的等效性。
• 如何评估 LSTM 状态在训练期间重置以及在使用 Keras LSTM 网络进行时间序列预测时如何影响性能。

您有任何问题吗？在评论区提问，我会尽力回答。

立即开发时间序列深度学习模型！

在几分钟内开发您自己的预测模型

...只需几行python代码

在我的新电子书中探索如何实现
用于时间序列预测的深度学习

它提供关于以下主题的自学教程：
CNN、LSTM、多元预测、多步预测等等...

最终将深度学习应用于您的时间序列预测项目

跳过学术理论。只看结果。

查看内容