用于罕见事件时间序列预测的 LSTM 模型架构

直接使用 LSTM 进行时间序列预测的效果不佳。

这令人惊讶，因为众所周知神经网络能够学习复杂的非线性关系，而 LSTM 可能是最成功的循环神经网络类型，能够直接支持多变量序列预测问题。

Uber AI Labs 最近进行的一项研究表明，如何将 LSTM 的自动特征学习能力和处理输入序列的能力结合在一个端到端模型中，该模型可用于预测公共假期等罕见事件的驾驶需求。

在这篇文章中，您将了解一种开发可扩展的端到端 LSTM 模型用于时间序列预测的方法。

阅读本文后，你将了解：

• 在多个站点（在本例中为城市）进行多变量、多步预测的挑战。
• 一个用于时间序列预测的 LSTM 模型架构，由独立的自动编码器和预测子模型组成。
• 所提出的 LSTM 架构在罕见事件需求预测方面的技能，以及在不相关的预测问题中重用已训练模型的能力。

通过我的新书《深度学习时间序列预测》启动您的项目，包括分步教程和所有示例的 Python 源代码文件。

让我们开始吧。

概述

在这篇文章中，我们将回顾 Nikolay Laptev 等人于 2017 年在 ICML 2017 时间序列研讨会上发表的题为《Uber 中使用神经网络进行时间序列极端事件预测》的论文。

这篇文章分为四个部分；它们是

1. 动机
2. 数据集
3. 模型
4. 发现

动机

这项工作的目标是开发一个用于多步时间序列预测的端到端预测模型，该模型可以处理多变量输入（例如，多个输入时间序列）。

该模型的目的是预测 Uber 的拼车司机需求，特别是预测假期等具有挑战性日期的需求，在这些日期，经典模型的不确定性很高。

通常，这种针对假期的需求预测属于一个名为极端事件预测的研究领域。

极端事件预测已成为估算高峰电力需求、交通拥堵严重程度以及拼车和其他应用激增定价的热门话题。事实上，统计学中有一个分支被称为极值理论（EVT），它直接处理这个挑战。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

描述了两种现有方法

• 经典预测方法：为每个时间序列开发一个模型，可能根据需要进行拟合。
• 两步法：将经典模型与机器学习模型结合使用。

这些现有模型的困难促使人们希望有一个单一的端到端模型。

此外，需要一个可以在不同地区（特别是针对每个城市收集的数据）进行泛化的模型。这意味着一个模型可以在一些或所有有可用数据的城市进行训练，并用于在一些或所有城市进行预测。

我们可以将其总结为对支持多变量输入、进行多步预测并跨多个站点（在本例中为城市）进行泛化的模型的普遍需求。

数据集

该模型是在 Uber 专有数据集上拟合的，该数据集包含美国主要城市五年匿名拼车数据。

使用美国主要城市五年人口的每日已完成行程历史记录，以提供所有美国主要假期的预测。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

每次预测的输入包括每次行程的信息，以及天气、城市和假期变量。

为了规避数据不足的问题，我们使用了额外的特征，包括天气信息（例如，降水量、风速、温度）和城市级别信息（例如，当前行程、当前用户、当地假期）。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

下图中摘自论文的图表提供了六个变量一年的样本。

模型的缩放多变量输入
摘自《Uber 中使用神经网络进行时间序列极端事件预测》。

通过将历史数据分割成输入和输出变量的滑动窗口来创建训练数据集。

论文中没有具体说明实验中使用的回溯和预测范围的具体大小。

滑动窗口方法建模时间序列
摘自《Uber 中使用神经网络进行时间序列极端事件预测》。

时间序列数据通过对每批样本进行归一化来缩放，并且每个输入序列都进行了去趋势处理，但未进行去季节性处理。

神经网络对未缩放的数据很敏感，因此我们对每个小批量进行归一化。此外，我们发现去趋势处理数据比去季节性处理能产生更好的结果。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

模型

LSTM，例如 Vanilla LSTM，在该问题上进行了评估，显示出相对较差的性能。

这并不令人惊讶，因为它与其他地方的发现相吻合。

我们最初的 LSTM 实现并未显示出优于现有方法的性能。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

使用了一种更精巧的架构，由两个 LSTM 模型组成

• 特征提取器：用于将输入序列提取为特征向量的模型，该向量可用作进行预测的输入。
• 预测器：使用提取的特征和其他输入进行预测的模型。

开发了一个 LSTM 自动编码器模型作为特征提取模型，并使用堆叠 LSTM 作为预测模型。

我们发现，普通的 LSTM 模型的性能比我们的基线差。因此，我们提出了一种新的架构，该架构利用自动编码器进行特征提取，实现了优于我们基线的性能。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

在进行预测时，时间序列数据首先提供给自动编码器，自动编码器将其压缩为多个特征向量，然后进行平均和连接。然后将特征向量作为输入提供给预测模型，以进行预测。

……该模型首先通过自动特征提取来预训练网络，这对于在特殊事件期间大规模捕获复杂时间序列动态至关重要。[……] 然后通过集成技术（例如，平均或其他方法）聚合特征向量。最终的向量然后与新输入连接，并馈送给 LSTM 预测器进行预测。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

尚不清楚在进行预测时，自动编码器具体接收了什么，尽管我们可以猜测它是一个多变量时间序列，用于预测的城市，包含预测区间之前的观测值。

将多变量时间序列作为自动编码器的输入将导致多个编码向量（每个序列一个），这些向量可以连接起来。目前尚不清楚平均在此处可能扮演什么角色，尽管我们可以猜测它是执行自动编码过程的多个模型的平均值。

特征提取模型和预测模型概述
摘自《Uber 中使用神经网络进行时间序列极端事件预测》。

作者评论说，可以将自动编码器作为预测模型的一部分，并且已经对此进行了评估，但单独的模型产生了更好的性能。

然而，根据我们的经验，拥有一个独立的自动编码器模块产生了更好的结果。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

所开发模型的更多细节在演示论文时使用的幻灯片中提供。

自动编码器的输入是 512 个 LSTM 单元，自动编码器中用于创建编码特征向量的瓶颈是 32 或 64 个 LSTM 单元。

LSTM 自动编码器用于特征提取的详细信息
摘自《Uber 中使用神经网络进行时间序列极端事件预测》。

编码的特征向量与“新输入”一起提供给预测模型，尽管没有说明这个新输入是什么；我们可以猜测它是一个时间序列，可能是一个多变量时间序列，用于预测的城市，包含预测间隔之前的观测值。或者，如关于该论文的博客文章所示，从该序列中提取的特征（尽管我对此持怀疑态度，因为论文和幻灯片与此相矛盾）。

该模型是在大量数据上训练的，这是堆叠 LSTM 或一般 LSTM 的普遍要求。

所描述的生产神经网络模型在数千个时间序列上进行训练，每个时间序列都有数千个数据点。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

在进行新的预测时，模型不会重新训练。

还实现了一种有趣的估计预测不确定性的方法，该方法使用了自举法。

它涉及分别使用自动编码器和预测模型估计模型不确定性和预测不确定性。输入被提供给给定模型，并使用激活的 dropout（如幻灯片中评论的）。这个过程重复了 100 次，模型和预测误差项被用于预测不确定性的估计。

预测不确定性估计概述
摘自《Uber 中使用神经网络进行时间序列极端事件预测》。

这种预测不确定性方法可能在 2017 年的论文《Uber 中时间序列的深度和可信预测》中得到了更好的描述。

发现

该模型以美国城市为单位，对美国假期的需求预测进行了特别评估。

模型评估的具体细节未指明。

发现新的广义 LSTM 预测模型优于 Uber 现有的模型，如果假设现有模型经过良好调整，这可能令人印象深刻。

所呈现的结果显示，与当前由单变量时间序列和机器学习模型组成的专有方法相比，预测精度提高了 2%-18%。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

在 Uber 数据集上训练的模型随后直接应用于 M3-竞赛数据集的一个子集，该数据集包含大约 1,500 个每月单变量时间序列预测数据集。

这是一种迁移学习，这是一个非常理想的目标，它允许在不同问题领域重用深度学习模型。

令人惊讶的是，该模型表现良好，虽然与表现最好的方法相比不算出色，但优于许多复杂的模型。结果表明，也许经过微调（例如，在其他迁移学习案例研究中进行的）后，该模型可以被重用并具有技能。

在 Uber 数据上训练并在 M3 数据集上评估的 LSTM 模型的性能
摘自《Uber 中使用神经网络进行时间序列极端事件预测》。

重要的是，作者建议深度 LSTM 模型在时间序列预测中最有益的应用可能是在以下情况下：

• 时间序列数量庞大。
• 每个序列的观测值数量庞大。
• 时间序列之间存在强相关性。

根据我们的经验，选择用于时间序列的神经网络模型有三个标准：(a) 时间序列的数量 (b) 时间序列的长度和 (c) 时间序列之间的相关性。如果 (a)、(b) 和 (c) 都很高，那么神经网络可能是正确的选择，否则经典的时间序列方法可能效果最好。

— Uber 中使用神经网络进行时间序列极端事件预测，2017。

这在论文演示中使用的幻灯片中得到了很好的总结。

将 LSTM 应用于时间序列预测的经验教训
摘自《Uber 中使用神经网络进行时间序列极端事件预测》幻灯片。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

• Uber 中使用神经网络进行时间序列极端事件预测, 2017.
• Uber 使用循环神经网络进行极端事件工程预测, 2017.
• Uber 中使用神经网络进行时间序列建模，幻灯片，2017。
• 时间序列极端事件预测案例研究，幻灯片 2018。
• 时间序列研讨会，ICML 2017
• Uber 中时间序列的深度和可信预测, 2017.

总结

在这篇文章中，您发现了用于时间序列预测的可扩展端到端 LSTM 模型。

具体来说，你学到了：

• 在多个站点（在本例中为城市）进行多变量、多步预测的挑战。
• 一个用于时间序列预测的 LSTM 模型架构，由独立的自动编码器和预测子模型组成。
• 所提出的 LSTM 架构在罕见事件需求预测方面的技能，以及在不相关的预测问题中重用已训练模型的能力。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发时间序列深度学习模型！

在几分钟内开发您自己的预测模型

...只需几行python代码

在我的新电子书中探索如何实现
用于时间序列预测的深度学习

它提供关于以下主题的自学教程：
CNN、LSTM、多元预测、多步预测等等...

最终将深度学习应用于您的时间序列预测项目

跳过学术理论。只看结果。

查看内容