如何在 Keras 中为截断 BPTT 准备序列预测

循环神经网络能够学习序列预测问题中跨多个时间步长的时间依赖性。

现代循环神经网络，如长短期记忆（LSTM）网络，采用反向传播算法的一种变体进行训练，称为时间反向传播。为了提高长序列预测问题的效率，该算法得到了进一步修改，被称为截断时间反向传播。

当使用截断时间反向传播训练像 LSTM 这样的循环神经网络时，一个重要的配置参数是确定用作输入的时间步长数量。也就是说，如何精确地将非常长的输入序列分割成子序列以获得最佳性能。

在这篇文章中，您将发现 6 种不同的方法，可以将非常长的输入序列分割开来，以便在 Python 中使用 Keras 和截断时间反向传播有效地训练循环神经网络。

阅读本文后，你将了解：

• 什么是截断时间反向传播，以及它如何在 Python 深度学习库 Keras 中实现。
• 输入时间步长数量的选择如何精确影响循环神经网络中的学习。
• 您可以使用 6 种不同的技术来分割非常长的序列预测问题，以最好地利用截断时间反向传播训练算法。

用我的新书《Python 长短期记忆网络》启动您的项目，其中包括分步教程和所有示例的Python 源代码文件。

让我们开始吧。

如何在 Keras 中为截断反向传播准备序列预测
图片由 Giò 拍摄，保留部分权利。

截断时间反向传播

反向传播是一种训练算法，用于更新神经网络中的权重，以最小化给定输入的预期输出与预测输出之间的误差。

对于存在观测之间顺序依赖性的序列预测问题，使用循环神经网络而不是经典的反馈神经网络。循环神经网络使用反向传播算法的一种变体进行训练，称为时间反向传播，简称 BPTT。

实际上，BPTT 展开循环神经网络，并沿着整个输入序列，一次一个时间步长地向后传播误差。然后用累积的梯度更新权重。

BPTT 在处理非常长的输入序列问题时训练循环神经网络可能会很慢。除了速度之外，在如此多的时间步长上累积梯度可能导致值缩小到零，或者值增长最终溢出或爆炸。

BPTT 的一种修改是限制反向传播中使用的时间步长数量，从而有效地估计用于更新权重的梯度，而不是完全计算它。

这种变体称为截断时间反向传播，简称 TBPTT。

TBPTT 训练算法有两个参数：

• k1：定义向前传播时显示给网络的时间步长数量。
• k2：定义在向后传播时估计梯度时要查看的时间步长数量。

因此，在考虑如何配置训练算法时，我们可以使用 TBPTT(k1, k2) 的表示法，其中 k1 = k2 = n，n 是经典非截断 BPTT 的输入序列长度。

TBPTT 配置对 RNN 序列模型的影响

像 LSTM 这样的现代循环神经网络可以使用其内部状态来记忆非常长的输入序列。例如，数千个时间步长。

这意味着 TBPTT 的配置不一定定义您通过选择时间步长数量来优化的网络的记忆。您可以选择何时重置网络的内部状态，这与用于更新网络权重的机制是分开的。

相反，TBPTT 参数的选择影响网络如何估计用于更新权重的误差梯度。更一般地说，该配置定义了网络在训练期间可能被视为对序列问题建模的时间步长数量。

我们可以将其正式表述为类似如下：

其中 yhat 是特定时间步长的输出，f(…) 是循环神经网络正在近似的关系，X(t) 是特定时间步长的观测值。

它在概念上与在时间序列问题上训练的多层感知器上的窗口大小，或者与 ARIMA 等线性时间序列模型的 p 和 q 参数相似（但在实践中却大相径庭）。TBPTT 定义了训练期间模型输入序列的范围。

Keras 对 TBPTT 的实现

Keras 深度学习库提供了用于训练循环神经网络的 TBPTT 实现。

此实现比上面列出的通用版本更受限制。

具体来说，k1 和 k2 的值相等且固定。

• TBPTT(k1, k2)，其中 k1 = k2

这是通过训练像长短期记忆网络或 LSTM 这样的循环神经网络所需的固定大小的三维输入实现的。

LSTM 要求输入数据具有以下维度：样本、时间步长和特征。

此输入格式的第二个维度（时间步长）定义了用于序列预测问题中的前向和后向传播的时间步长数量。

因此，在 Keras 中为序列预测问题准备输入数据时，必须仔细选择指定的时间步长数量。

时间步长的选择将影响两个方面：

• 前向传播过程中累积的内部状态。
• 用于后向传播中更新权重的梯度估计。

请注意，默认情况下，网络内部状态在每个批次后都会重置，但通过使用所谓的有状态 LSTM 并手动调用重置操作，可以更明确地控制何时重置内部状态。

有关 Keras 中有状态 LSTM 的更多信息，请参阅以下文章：

• 如何在 Python 中为时间序列预测的 LSTM 设置状态
• 有状态和无状态 LSTM 用于 Python 时间序列预测
• 在 Python 中使用 Keras 理解有状态的 LSTM 循环神经网络

在 Keras 中为 TBPTT 准备序列数据

您分割序列数据的方式将定义 BPTT 前向和后向传播中使用的时间步长数量。

因此，您必须仔细考虑如何准备训练数据。

本节列出了您可以考虑的 6 种技术。

1. 按原样使用数据

如果每个序列中的时间步长数量适中，例如几十个或几百个时间步长，您可以按原样使用输入序列。

对于 TBPTT，建议的实际限制约为 200 到 400 个时间步长。

如果您的序列数据小于或等于此范围，您可以将序列观测值重新塑形为输入数据的时间步长。

例如，如果您有 100 个 25 个时间步长的单变量序列集合，则可以将其重新塑形为 100 个样本、25 个时间步长和 1 个特征，即 [100, 25, 1]。

2. 朴素数据分割

如果您有很长的输入序列，例如数千个时间步长，您可能需要将长输入序列分解成多个连续的子序列。

这将需要使用 Keras 中的有状态 LSTM，以便内部状态在子序列的输入之间保持不变，并且只在真正的完整输入序列结束时重置。

例如，如果您有 100 个 50,000 个时间步长的输入序列，则每个输入序列可以分成 100 个 500 个时间步长的子序列。一个输入序列将变为 100 个样本，因此原始的 100 个样本将变为 10,000 个。Keras 的输入维度将是 10,000 个样本、500 个时间步长和 1 个特征，即 [10000, 500, 1]。需要注意在每个 100 个子序列之间保持状态，并在每个 100 个样本之后显式地或通过使用 100 的批大小来重置内部状态。

优选将完整序列整齐地分割成固定大小子序列的分割。完整序列因子（子序列长度）的选择是任意的，因此称为“朴素数据分割”。

将序列分割成子序列时，未考虑关于估计用于更新权重的误差梯度的合适时间步长数量的领域信息。

3. 领域特定数据分割

很难知道需要多少时间步长才能提供有用的误差梯度估计。

我们可以使用（上述）朴素方法快速获得模型，但模型可能远未优化。

或者，我们可以使用领域特定信息来估计模型在学习问题时相关的时步数。

例如，如果序列问题是回归时间序列，也许回顾自相关和偏自相关图可以为时间步长数量的选择提供信息。

如果序列问题是自然语言处理问题，输入序列可以按句子划分，然后填充到固定长度，或者根据领域中的平均句子长度进行划分。

广义地思考，并考虑您可以利用哪些特定于您领域的知识来将序列分割成有意义的块。

4. 系统数据分割（例如网格搜索）

您不必猜测合适的时间步长数量，而是可以系统地评估针对序列预测问题的一系列不同子序列长度。

您可以对每个子序列长度执行网格搜索，并采用平均性能最佳的配置。

如果您正在考虑这种方法，请注意以下几点：

• 从完整序列长度的因子作为子序列长度开始。
• 如果探索的子序列长度不是完整序列长度的因子，请使用填充和可能的掩码。
• 考虑使用一个稍微过度设计的网络（更多记忆单元和更多训练 epoch），而不是解决问题所需的网络，以帮助排除网络容量作为实验的限制。
• 对每个不同配置的多次运行（例如 30 次）取平均性能。

如果计算资源不是限制，那么建议对不同数量的时间步长进行系统研究。

5. 在 TBPTT(1, 1) 中大量依赖内部状态

您可以将序列预测问题重新表述为每个时间步长有一个输入和一个输出。

例如，如果您有 100 个 50 个时间步长的序列，则每个时间步长将成为一个新样本。这 100 个样本将变为 5,000 个。三维输入将变为 5,000 个样本、1 个时间步长和 1 个特征，即 [5000, 1, 1]。

同样，这将要求在序列的每个时间步长之间保留内部状态，并在每个实际序列（50 个样本）结束时重置内部状态。

这将把学习序列预测问题的负担放在循环神经网络的内部状态上。根据问题的类型，这可能超出网络的处理能力，预测问题可能无法学习。

个人经验表明，这种公式可能适用于需要序列记忆的预测问题，但在结果是过去观测值的复杂函数时表现不佳。

6. 分离前向和后向序列长度

Keras 深度学习库曾经支持截断时间反向传播的前向和后向传播的解耦时间步长数量。

本质上，k1 参数可以通过输入序列上的时间步长数量指定，k2 参数可以通过 LSTM 层上的“truncate_gradient”参数指定。

这已不再受支持，但有人希望将此功能重新添加到库中。尚不清楚确切的删除原因，尽管有证据表明是出于效率原因。

您可以在 Keras 中探索这种方法。一些想法包括：

• 安装并使用支持“truncate_gradient”参数的旧版 Keras 库（大约 2015 年）。
• 扩展 Keras 中的 LSTM 层实现，以支持“truncate_gradient”类型的行为。

也许有支持此行为的 Keras 第三方扩展。
如果您找到任何，请在下面的评论中告诉我。

总结

在这篇文章中，您了解了如何在 Python 深度学习库 Keras 中准备序列预测问题数据，以有效利用截断时间反向传播训练算法。

具体来说，你学到了：

• 截断时间反向传播的工作原理及其在 Keras 中的实现方式。
• 如何在 TBPTT 的背景下重新组织或分割具有非常长输入序列的数据。
• 如何在 Keras 中系统地研究不同的 TBPTT 配置。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发用于序列预测的 LSTM！

在几分钟内开发您自己的 LSTM 模型。

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 构建长短期记忆网络

它提供关于以下主题的自学教程：
CNN LSTM、编码器-解码器 LSTM、生成模型、数据准备、进行预测等等...

最终将 LSTM 循环神经网络引入。
您的序列预测项目。

跳过学术理论。只看结果。

查看内容