如何在训练期间更新 LSTM 网络以进行时间序列预测

使用神经网络模型进行时间序列预测的一个好处是，当新数据可用时，可以更新权重。

在本教程中，您将学习如何使用新数据更新长短期记忆 (LSTM) 循环神经网络以进行时间序列预测。

完成本教程后，您将了解：

• 如何使用新数据更新 LSTM 神经网络。
• 如何开发测试工具以评估不同的更新方案。
• 如何解释使用新数据更新 LSTM 网络的结果。

通过我的新书《时间序列预测深度学习》来启动您的项目，其中包括逐步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 2017 年 4 月更新：添加了缺失的 update_model() 函数。
• 2019 年 4 月更新：更新了数据集链接。

如何在训练期间更新 LSTM 网络以进行时间序列预测
摄影：Esteban Alvarez，保留部分权利。

教程概述

本教程分为 9 部分。它们是：

1. 洗发水销售数据集
2. 实验测试框架
3. 实验：无更新
4. 实验：2 个更新 epoch
5. 实验：5 个更新 epoch
6. 实验：10 个更新 epoch
7. 实验：20 个更新 epoch
8. 实验：50 个更新 epoch
9. 结果比较

环境

本教程假定您已安装 Python SciPy 环境。您可以使用 Python 2 或 3。

本教程假定您已安装 Keras v2.0 或更高版本，并使用 TensorFlow 或 Theano 后端。

本教程还假定您已安装 scikit-learn、Pandas、NumPy 和 Matplotlib。

如果您需要帮助设置 Python 环境，请参阅此帖子

• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境

洗发水销售数据集

此数据集描述了 3 年期间洗发水月销量。

单位是销售计数，共有 36 个观测值。原始数据集归功于 Makridakis、Wheelwright 和 Hyndman (1998)。

• 下载数据集.

以下示例加载并创建加载数据集的图表。

运行该示例将数据集作为 Pandas Series 加载并打印前 5 行。

然后创建该系列的线图，显示出明显的上升趋势。

洗发水销售数据集的折线图

接下来，我们将看看实验中使用的LSTM配置和测试框架。

实验测试框架

本节将介绍本教程中使用的测试框架。

数据分割

我们将把洗发水销售数据集分为两部分：训练集和测试集。

前两年的数据将用于训练数据集，剩下的一年数据将用于测试集。

模型将使用训练数据集进行开发，并对测试数据集进行预测。

测试数据集上的持久性预测（朴素预测）实现了 136.761 月度洗发水销售额的误差。这为测试集上的性能提供了可接受的下限。

模型评估

将使用滚动预测方案，也称为向前验证模型。

测试数据集的每个时间步都将逐一进行。模型将用于对时间步进行预测，然后将从测试集中获取实际预期值，并将其提供给模型以用于下一个时间步的预测。

这模拟了现实世界场景，其中每个月都会有新的洗发水销售观察值，并用于预测下个月。

这将通过训练和测试数据集的结构进行模拟。

测试数据集上的所有预测都将被收集，并计算误差分数以总结模型的技能。将使用均方根误差 (RMSE)，因为它会惩罚大误差，并导致分数与预测数据单位相同，即月度洗发水销售额。

数据准备

在我们使用 LSTM 模型拟合数据集之前，我们必须转换数据。

在拟合模型和进行预测之前，对数据集执行以下三种数据转换。

1. 转换时间序列数据使其平稳。具体来说，进行 lag=1 的差分以消除数据中不断增长的趋势。
2. 将时间序列转换为监督学习问题。具体来说，将数据组织成输入和输出模式，其中使用上一个时间步的观测值作为输入来预测当前时间步的观测值。
3. 转换观测值以具有特定比例。具体来说，将数据重新缩放到-1到1之间的值，以满足LSTM模型的默认双曲正切激活函数。

这些转换在预测上进行反转，以在计算误差分数之前将其恢复到原始比例。

LSTM 模型

我们将使用一个具有 1 个神经元的 LSTM 模型，训练 500 个 epoch。

批处理大小需要为 1，因为我们将使用步进验证并对最后 12 个月的数据中的每个数据进行一步预测。

批量大小为1意味着模型将使用在线训练（而不是批量训练或小批量训练）进行拟合。因此，预计模型拟合会存在一些方差。

理想情况下，会使用更多的训练epoch（例如1000或1500），但为了保持运行时间合理，这里截断到500。

模型将使用高效的ADAM优化算法和均方误差损失函数进行拟合。

实验运行

每个实验场景将运行10次。

这是因为 LSTM 网络的随机初始条件可能导致每次给定配置的训练性能都非常不同。

让我们开始实验。

实验：无更新

在第一个实验中，我们将评估一个一次性训练并重复用于预测每个时间步的 LSTM。

我们将其称为“无更新模型”或“固定模型”，因为一旦模型首次在训练数据上拟合，就不会进行任何更新。这提供了一个性能基线，我们期望对模型进行适度更新的实验能够超越这个基线。

完整的代码列表如下。

运行示例会存储使用步进验证计算的测试数据集上的 RMSE 分数。这些分数存储在名为 experiment_fixed.csv 的文件中，以供后续分析。分数的摘要已打印，如下所示。

注意：鉴于算法或评估过程的随机性质，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

结果表明平均性能优于持久性模型，测试 RMSE 为 109.565465，而持久性模型的月度洗发水销售额为 136.761。

接下来，我们将开始研究在步进验证期间对模型进行更新的配置。

实验：2 个更新 epoch

在此实验中，我们对所有训练数据拟合模型，然后在步进验证期间每次预测后更新模型。

然后，用于在测试数据集中引出预测的每个测试模式都将添加到训练数据集中，并更新模型。

在这种情况下，模型在进行下一次预测之前额外训练了 2 个 epoch。

使用与第一个实验相同的代码清单。代码清单的更改如下所示。

注意：鉴于算法或评估过程的随机性质，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行实验会将最终测试的 RMSE 分数保存在“experiment_update_2.csv”中，并打印结果的摘要统计数据，如下所示。

实验：5 个更新 epoch

此实验重复上述更新实验，并在将每个测试模式添加到训练数据集后，对模型进行额外的 5 个 epoch 的训练。

注意：鉴于算法或评估过程的随机性质，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行实验会将最终测试的 RMSE 分数保存在“experiment_update_5.csv”中，并打印结果的摘要统计数据，如下所示。

实验：10 个更新 epoch

此实验重复上述更新实验，并在将每个测试模式添加到训练数据集后，对模型进行额外的 10 个 epoch 的训练。

注意：鉴于算法或评估过程的随机性质，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行实验会将最终测试的 RMSE 分数保存在“experiment_update_10.csv”中，并打印结果的摘要统计数据，如下所示。

实验：20 个更新 epoch

此实验重复上述更新实验，并在将每个测试模式添加到训练数据集后，对模型进行额外的 20 个 epoch 的训练。

注意：鉴于算法或评估过程的随机性质，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行实验会将最终测试的 RMSE 分数保存在“experiment_update_20.csv”中，并打印结果的摘要统计数据，如下所示。

实验：50 个更新 epoch

此实验重复上述更新实验，并在将每个测试模式添加到训练数据集后，对模型进行额外的 50 个 epoch 的训练。

注意：鉴于算法或评估过程的随机性质，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行实验会将最终测试的 RMSE 分数保存在“experiment_update_50.csv”中，并打印结果的摘要统计数据，如下所示。

结果比较

在本节中，我们将比较之前实验中保存的结果。

我们加载每个保存的结果，用描述性统计数据总结结果，并使用箱线图比较结果。

完整的代码列表如下。

运行示例首先计算并打印每个实验结果的描述性统计数据。

注意：鉴于算法或评估过程的随机性质，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

如果我们查看平均性能，我们可以看到固定模型提供了一个良好的性能基线，但我们看到适度数量的更新周期（20 和 50）平均产生更差的测试集 RMSE。

我们看到少量更新周期会带来更好的整体测试集性能，特别是 2 个周期，然后是 5 个周期。这令人鼓舞。

还创建了一个箱线图，比较了每个实验的测试 RMSE 结果分布。

该图突出显示了每个实验的中位数（绿线）以及数据的中间 50%（框）。该图与平均性能讲述了相同的故事，表明少量训练周期（2 或 5 个周期）会产生最佳的整体测试 RMSE。

该图显示，随着更新次数增加到 20 个周期，测试 RMSE 会上升，然后对于 50 个周期又会下降。这可能意味着大量进一步训练改进了模型（11 * 50 个周期），或者只是少量重复（10 次）导致的一个假象。

比较更新周期数的箱线图

重要的是要指出，这些结果是针对模型配置和此数据集的特定结果。

除了这个特定示例之外，很难概括这些结果，尽管这些实验确实为在您自己的预测建模问题上执行类似实验提供了一个框架。

扩展

本节列出了本节中实验的扩展思路。

• 统计显著性检验。我们可以计算成对的统计显著性检验，例如学生 t 检验，以查看结果总体中均值之间的差异是否具有统计显著性。
• 更多重复。我们可以将重复次数从 10 次增加到 30 次、100 次或更多，以使结果更具鲁棒性。
• 更多迭代次数。基础 LSTM 模型只进行了 500 个迭代的在线训练，据信增加训练迭代次数将产生更准确的基线模型。迭代次数减少是为了缩短实验运行时间。
• 与更多迭代次数进行比较。更新模型的实验结果应直接与使用相同总迭代次数的固定模型的实验进行比较，以查看将额外测试模式添加到训练数据集是否会产生任何明显差异。例如，每个测试模式的 2 次更新迭代可以与训练了 500 + (12-1) * 2) 或 522 次迭代的固定模型进行比较；5 次更新模型的实验可以与训练了 500 + (12-1) * 5) 或 555 次迭代的固定模型进行比较，依此类推。
• 全新模型。添加一个实验，在将每个测试模式添加到训练数据集后，拟合一个新模型。曾尝试过这样做，但由于运行时间过长，导致在本教程定稿之前未能收集到结果。预计这将为更新模型和固定模型提供一个有趣的比较点。

您是否探索过这些扩展？
请在评论中报告您的结果；我很想听听您的发现。

总结

在本教程中，您学习了如何在 Python 中进行时间序列预测时，在新数据可用时更新 LSTM 网络。

具体来说，你学到了：

• 如何设计一套系统的实验来探索更新 LSTM 模型的效果。
• 如何在有新数据可用时更新 LSTM 模型。
• 对 LSTM 模型的更新可以产生更有效的预测模型，但您的预测问题需要仔细校准。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发时间序列深度学习模型！

在几分钟内开发您自己的预测模型

...只需几行python代码

在我的新电子书中探索如何实现
用于时间序列预测的深度学习

它提供关于以下主题的自学教程：
CNN、LSTM、多元预测、多步预测等等...

最终将深度学习应用于您的时间序列预测项目

跳过学术理论。只看结果。

查看内容