时间反向传播简明介绍

时间反向传播（Backpropagation Through Time，简称 BPTT）是用于更新循环神经网络（如 LSTM）权重的训练算法。

为了有效地为循环神经网络构建序列预测问题，您必须对时间反向传播的工作原理以及可配置变体（如截断时间反向传播）将如何影响网络训练时的技能、稳定性和速度有一个深刻的理解。在这篇文章中，您将获得针对实践者的时间反向传播的温和介绍（无公式！）。

在这篇文章中，您将获得针对实践者的时间反向传播的温和介绍（无公式！）。

阅读本文后，你将了解：

• 什么是时间反向传播，以及它与多层感知器网络使用的反向传播训练算法的关系。
• 导致需要截断时间反向传播的动机，这是深度学习中用于训练 LSTM 最广泛使用的变体。
• 一种用于思考如何配置截断时间反向传播的表示法，以及研究和深度学习库中使用的典型配置。

通过我的新书《使用 Python 的长短期记忆网络》启动您的项目，包括分步教程和所有示例的 Python 源代码文件。

让我们开始吧。

时间反向传播简明介绍
摄影：Jocelyn Kinghorn，保留部分权利。

反向传播训练算法

反向传播指两件事

• 用于计算导数的数学方法和导数链式法则的应用。
• 用于更新网络权重以最小化误差的训练算法。

我们这里使用的是对反向传播的后一种理解。

反向传播训练算法的目标是修改神经网络的权重，以最小化网络输出与相应输入预期输出之间的误差。

它是一种监督学习算法，允许根据所犯的具体错误对网络进行纠正。

通用算法如下

1. 呈现一个训练输入模式并将其传播通过网络以获得输出。
2. 比较预测输出与预期输出并计算误差。
3. 计算误差相对于网络权重的导数。
4. 调整权重以最小化误差。
5. 重复。

有关反向传播的更多信息，请参阅文章

• 如何从零开始用 Python 实现反向传播算法

反向传播训练算法适用于训练固定大小输入-输出对的前馈神经网络，但对于可能按时间顺序排列的序列数据呢？

时间反向传播

时间反向传播（Backpropagation Through Time，简称 BPTT）是将反向传播训练算法应用于循环神经网络，以处理时间序列等序列数据。

循环神经网络在每个时间步显示一个输入并预测一个输出。

概念上，BPTT 通过展开所有输入时间步工作。每个时间步都有一个输入时间步、一个网络副本和一个输出。然后计算并累积每个时间步的误差。网络被重新折叠并更新权重。

在空间上，展开的循环神经网络的每个时间步都可以看作是一个附加层，考虑到问题的顺序依赖性以及前一个时间步的内部状态被作为后续时间步的输入。

我们可以将算法总结如下

1. 向网络呈现一系列输入和输出对的时间步。
2. 展开网络，然后计算并累积每个时间步的误差。
3. 折叠网络并更新权重。
4. 重复。

随着时间步数量的增加，BPTT 的计算成本可能很高。

如果输入序列包含数千个时间步，那么这将是单个更新权重更新所需的导数数量。这可能导致权重消失或爆炸（趋于零或溢出），并使学习缓慢和模型技能嘈杂。

截断时间反向传播

截断时间反向传播（Truncated Backpropagation Through Time，简称 TBPTT）是 BPTT 训练算法的修改版本，用于循环神经网络。在这种方法中，序列一次处理一个时间步，并定期（k1 个时间步）执行 BPTT 更新，并回溯固定的时间步数（k2 个时间步）。

Ilya Sutskever 在他的博士论文中对此作了明确阐述：

截断反向传播可以说是训练 RNN 最实用的方法。

…

BPTT 的主要问题之一是单个参数更新的成本很高，这使得无法使用大量的迭代。

…

可以通过一种简单的方法来降低成本，该方法将 1,000 个长度的序列分成 50 个序列（例如），每个序列长度为 20，并将每个长度为 20 的序列视为单独的训练案例。这是一种明智的方法，在实践中可以很好地工作，但它对跨越超过 20 个时间步的时间依赖性是盲目的。

…

截断 BPTT 是一种密切相关的方法。它一次处理一个时间步的序列，并且每 k1 个时间步，它都会运行 k2 个时间步的 BPTT，因此如果 k2 较小，参数更新可能会很便宜。因此，其隐藏状态已经暴露于许多时间步，因此可能包含有关遥远过去的有用信息，这些信息将被机会性地利用。

— Ilya Sutskever，《训练循环神经网络》，博士论文，2013 年

我们可以将算法总结如下

1. 向网络呈现 k1 个时间步的输入和输出对序列。
2. 展开网络，然后计算并累积 k2 个时间步的误差。
3. 折叠网络并更新权重。
4. 重复

TBPTT 算法需要考虑两个参数

• k1：两次更新之间的前向传播时间步数。通常，这会影响训练的快慢，因为它决定了权重更新的频率。
• k2：应用 BPTT 的时间步数。通常，它应该足够大以捕获问题中的时间结构，供网络学习。过大的值会导致梯度消失。

为了更清楚地说明这一点

……可以使用有限历史近似，其中相关信息保存固定数量 h 的时间步，任何比这更旧的信息都会被遗忘。通常，这应该被视为简化计算的启发式技术，尽管如下所述，它有时可以作为真实梯度的充分近似，并且在权重随着网络运行而调整的情况下也可能更合适。我们称此算法为截断时间反向传播。其中 h 表示保存的先前时间步数，此算法将表示为 BPTT(h)。

…

请注意，在 BPTT(h) 中，每次网络运行一个额外的时间步时，都会对最近的 h 个时间步执行新的反向传播。为了推广这一点，可以考虑让网络运行 h0 个额外的时间步，然后再执行下一个 BPTT 计算，其中 h0 <= h。

…

此算法的关键特征是直到时间步 t + h0 之后才执行下一次反向传播；在此期间，网络输入、网络状态和目标值的历史记录保存在历史缓冲区中，但不对这些数据进行处理。我们称此算法为 BPTT(h; h0)。显然，BPTT(h) 与 BPTT(h; 1) 相同，BPTT(h; h) 是分批次的 BPTT 算法。

— Ronald J. Williams 和 Jing Peng，《一种用于循环网络轨迹在线训练的高效基于梯度的算法》，1990 年

我们可以借鉴 Williams 和 Peng 的符号，将不同的 TBPTT 配置称为 TBPTT(k1, k2)。

使用此表示法，我们可以定义一些标准或常用方法

注意，这里的 n 指的是序列中的总时间步数

• TBPTT(n,n)：在序列结束时对序列中的所有时间步执行更新（例如经典 BPTT）。
• TBPTT(1,n)：时间步逐一处理，然后执行覆盖到目前为止所有时间步的更新（例如 Williams 和 Peng 的经典 TBPTT）。
• TBPTT(k1,1)：网络可能没有足够的时间上下文来学习，严重依赖内部状态和输入。
• TBPTT(k1,k2)，其中 k1<k2<n：每个序列执行多次更新，可以加速训练。
• TBPTT(k1,k2)，其中 k1=k2：一种常见配置，其中固定数量的时间步用于前向和后向传播（例如 10 到 100）。

我们可以看到，所有配置都是 TBPTT(n,n) 的变体，它们本质上试图以更快的训练速度和更稳定的结果来近似相同的效果。

论文中报告的典型 TBPTT 可以认为是 TBPTT(k1,k2)，其中 k1=k2=h 且 h<=n，并且所选参数较小（几十到几百个时间步）。

在 TensorFlow 和 Keras 等库中，情况类似，h 定义了准备好的数据时间步的向量化固定长度。

进一步阅读

本节提供了一些进一步阅读的资源。

书籍

• 《神经网络精工：前馈人工神经网络中的监督学习》, 1999
• 深度学习, 2016

论文

• 通过反向传播误差学习表示, 1986
• 时间反向传播：它做什么以及如何做, 1990
• 一种用于循环网络轨迹在线训练的高效基于梯度的算法, 1990
• 训练循环神经网络，论文，2013
• 循环网络的基于梯度的学习算法及其计算复杂性, 1995

文章

• 维基百科上的反向传播
• 维基百科上的时间反向传播
• 截断反向传播的风格
• CrossValidated 上问题“RNNs：何时应用 BPTT 和/或更新权重？”的回答

总结

在这篇文章中，您发现了用于训练循环神经网络的时间反向传播。

具体来说，你学到了：

• 什么是时间反向传播，以及它与多层感知器网络使用的反向传播训练算法的关系。
• 导致需要截断时间反向传播的动机，这是深度学习中用于训练 LSTM 最广泛使用的变体。
• 一种用于思考如何配置截断时间反向传播的表示法，以及研究和深度学习库中使用的典型配置。

您对时间反向传播有任何疑问吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发用于序列预测的 LSTM！

在几分钟内开发您自己的 LSTM 模型。

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 构建长短期记忆网络

它提供关于以下主题的自学教程：
CNN LSTM、编码器-解码器 LSTM、生成模型、数据准备、进行预测等等...

最终将 LSTM 循环神经网络引入。
您的序列预测项目。

跳过学术理论。只看结果。

查看内容