由专家带来的长短期记忆网络简明介绍

长短期记忆（LSTM）网络是一种循环神经网络，能够学习序列预测问题中的顺序依赖关系。

这种行为在机器翻译、语音识别等复杂问题领域中是必需的。

LSTM 是深度学习中一个复杂的领域。要理解 LSTM 是什么，以及双向（bidirectional）和序列到序列（sequence-to-sequence）等术语如何与该领域相关，可能很难把握。

在这篇文章中，您将通过开发这些方法并将其应用于新的重要问题的研究科学家的言语，深入了解 LSTM。

很少有人能比开发 LSTM 的专家更清晰准确地阐述 LSTM 的前景和工作原理。

我们将利用专家的引述，探讨 LSTM 领域的关键问题，如果您感兴趣，还可以深入阅读这些引述所引用的原始论文。

用我的新书《使用 Python 的长短期记忆网络》启动您的项目，包括**分步教程**和所有示例的**Python 源代码**文件。

让我们开始吧。

由专家带来的长短期记忆网络简明介绍
摄影：Oran Viriyincy，保留部分权利。

循环神经网络的承诺

循环神经网络不同于传统的全连接神经网络。

这种复杂性的增加带来了传统方法无法实现的新行为的承诺。

循环网络……具有可以表示上下文信息的内部状态。……它们保留了过去输入的信息，其时间长度不是事先固定的，而是取决于其权重和输入数据。

…

一个输入不是固定的而是构成输入序列的循环网络，可以用来将输入序列转换为输出序列，同时以灵活的方式考虑上下文信息。

— Yoshua Bengio 等人，使用梯度下降学习长期依赖关系很困难，1994年。

该论文定义了循环神经网络的3个基本要求

• 该系统能够存储任意时长信息。
• 该系统对噪声具有抵抗力（即，对预测正确输出随机或不相关的输入波动）。
• 系统参数可训练（在合理时间内）。

该论文还描述了用于演示循环神经网络的“最小任务”。

上下文是关键。

循环神经网络在进行预测时必须使用上下文，但为此，所需的上下文也必须学习。

……循环神经网络包含循环，将前一个时间步的网络激活作为输入反馈给网络，以影响当前时间步的预测。这些激活存储在网络的内部状态中，原则上可以保存长期时间上下文信息。这种机制允许RNN利用输入序列历史上的动态变化的上下文窗口

— Hassim Sak 等人，用于大规模声学建模的长短期记忆循环神经网络架构，2014年

LSTM兑现承诺

LSTM 的成功在于它们声称是首批克服技术难题并实现循环神经网络承诺的实现之一。

因此，当相关输入事件和目标信号之间的时间滞后大于5-10个离散时间步时，标准RNN无法学习。梯度消失问题使人们怀疑标准RNN是否确实能比基于时间窗口的前馈网络表现出显著的实际优势。最近的一个模型，“长短期记忆”（LSTM），不受此问题的影响。LSTM可以通过在特殊单元（称为“单元”）内的“恒定误差传送带”（CECs）中强制恒定误差流，来学习弥合超过1000个离散时间步的最小时间滞后

— Felix A. Gers 等人，学习遗忘：使用LSTM进行持续预测，2000年

LSTM克服的两个技术问题是梯度消失和梯度爆炸，两者都与网络的训练方式有关。

不幸的是，标准RNN能够访问的上下文信息范围在实践中相当有限。问题在于，给定输入对隐藏层的影响，以及因此对网络输出的影响，在围绕网络的循环连接循环时，会呈指数级衰减或爆炸。这一缺点……在文献中被称为梯度消失问题……长短期记忆（LSTM）是一种专门设计用于解决梯度消失问题的RNN架构。

— Alex Graves 等人，一种用于无约束手写识别的新型连接主义系统，2009年

LSTM 解决技术问题的关键在于模型中使用的单元的特定内部结构。

……这取决于它处理梯度消失和梯度爆炸的能力，这是设计和训练RNN时最常见的挑战。为了应对这一挑战，引入了一种特殊形式的循环网络，称为LSTM，并成功应用于翻译和序列生成。

— Alex Graves 等人，使用双向LSTM和其他神经网络架构进行逐帧音素分类，2005年。

LSTM 是如何工作的？

与其深入研究控制 LSTM 如何拟合的方程，不如使用类比作为一种有用的工具来快速掌握它们的工作原理。

我们使用具有一个输入层、一个隐藏层和一个输出层的网络……（完全）自连接的隐藏层包含记忆单元和相应的门单元……

…

每个记忆单元的内部架构保证了其恒定误差传送带（CEC）内的恒定误差流……这为弥合非常长的时间滞后奠定了基础。两个门单元学习打开和关闭对每个记忆单元CEC内误差流的访问。乘法输入门保护CEC免受无关输入的扰动。同样，乘法输出门保护其他单元免受当前无关记忆内容的扰动。

— Sepp Hochreiter 和 Jurgen Schmidhuber，长短期记忆，1997年。

多种类比可以帮助理解 LSTM 与由简单神经元组成的传统神经网络的区别。

长短期记忆架构的灵感来源于对现有RNN中错误流的分析，该分析发现现有架构无法处理长时间滞后，因为反向传播的错误会指数级增长或衰减。

一个LSTM层由一组循环连接的块组成，称为内存块。这些块可以被认为是数字计算机中内存芯片的可微分版本。每个块包含一个或多个循环连接的内存单元和三个乘法单元——输入门、输出门和遗忘门——它们为单元提供了写入、读取和重置操作的连续模拟。……网络只能通过门与单元交互。

— Alex Graves 等人，使用双向LSTM和其他神经网络架构进行逐帧音素分类，2005年。

值得注意的是，即使在20多年后，简单（或标准）LSTM可能仍然是应用该技术时最好的起点。

最常用的LSTM架构（标准LSTM）在各种数据集上表现相当不错……

学习率和网络大小是LSTM最关键的可调超参数……

……这意味着超参数可以独立调整。特别是，学习率可以首先使用相当小的网络进行校准，从而节省大量的实验时间。

— Klaus Greff 等人，LSTM：一次搜索空间奥德赛，2015年

LSTM 的应用有哪些？

重要的是要准确了解 LSTM 适用于解决哪种类型的序列学习问题。

长短期记忆 (LSTM) 可以解决许多以前的循环神经网络 (RNN) 学习算法无法解决的任务。

…

……LSTM 对于任何我们怀疑可能存在层次分解，但事先不知道这种分解是什么的序列处理任务都具有前景。

— Felix A. Gers 等人，学习遗忘：使用LSTM进行持续预测，2000年

循环神经网络（RNN）是一种神经网络序列模型，在语言建模、语音识别和机器翻译等重要任务上取得了最先进的性能。

— Wojciech Zaremba, 循环神经网络正则化, 2014年。

由于 LSTM 能够有效捕获长期时间依赖性，而不会受到困扰简单循环网络 (SRN) 的优化障碍的影响，因此它们已被用于推动许多难题的最新进展。这包括手写识别和生成、语言建模和翻译、语音声学建模、语音合成、蛋白质二级结构预测、音频和视频数据分析等。

— Klaus Greff 等人，LSTM：一次搜索空间奥德赛，2015年

什么是双向 LSTM？

双向 LSTM 是 LSTM 的一种常见改进。

双向循环神经网络的基本思想是，将每个训练序列向前和向后呈现给两个独立的循环网络，这两个网络都连接到同一个输出层。……这意味着对于给定序列中的每个点，BRNN都具有关于其之前和之后所有点的完整序列信息。此外，由于网络可以自由地使用所需上下文的多少，因此无需寻找（任务相关的）时间窗口或目标延迟大小。

……对于像语音识别这样的时间问题，依赖对未来的了解乍一看似乎违反了因果关系……我们如何能根据尚未说出的东西来理解我们所听到的？然而，人类听众正是这样做的。最初毫无意义的声音、单词乃至整个句子，在未来的语境中被发现是讲得通的。

— Alex Graves 等人，使用双向LSTM和其他神经网络架构进行逐帧音素分类，2005年。

传统RNN的一个缺点是它们只能利用之前的上下文。……双向RNN（BRNN）通过两个独立的隐藏层以两个方向处理数据来做到这一点，然后将它们前馈到同一个输出层。……将BRNN与LSTM结合，就得到了双向LSTM，它可以在两个输入方向上访问长程上下文

— Alex Graves 等人，基于深度循环神经网络的语音识别，2013年

与传统的RNN不同，双向RNN通过两个独立的隐藏层从两个方向处理数据，从而利用了之前和未来的上下文。一个层沿正向处理输入序列，而另一个层沿反向处理输入。然后通过结合两个层的隐藏向量生成当前时间步的输出……

— Di Wang 和 Eric Nyberg，用于问答系统中答案句选择的长短期记忆模型
问答, 2015

什么是 seq2seq LSTM 或 RNN 编码器-解码器？

序列到序列的 LSTM，也称为编码器-解码器 LSTM，是 LSTM 的一种应用，鉴于其令人印象深刻的能力，受到了广泛关注。

……长短期记忆（LSTM）架构的直接应用可以解决一般的序列到序列问题。

…

这个想法是使用一个LSTM一次读取输入序列一个时间步，以获得一个大型固定维度向量表示，然后使用另一个LSTM从该向量中提取输出序列。第二个LSTM本质上是一个循环神经网络语言模型，只不过它以输入序列为条件。

由于输入和相应的输出之间存在相当大的时间滞后，LSTM 成功学习具有长期时间依赖性数据的能力使其成为此应用的自然选择。

我们之所以能很好地处理长句子，是因为我们在训练集和测试集中颠倒了源句子中单词的顺序，但没有颠倒目标句子中的单词顺序。通过这样做，我们引入了许多短期依赖，这使得优化问题变得简单得多。……颠倒源句子中单词的简单技巧是这项工作的关键技术贡献之一

— Ilya Sutskever 等人，使用神经网络的序列到序列学习，2014年

“编码器” RNN 读取源句子并将其转换为丰富的固定长度向量表示，然后该向量表示又用作生成目标句子的“解码器” RNN 的初始隐藏状态。在这里，我们建议遵循这个优雅的方案，将编码器 RNN 替换为深度卷积神经网络 (CNN)。……自然的做法是使用 CNN 作为图像“编码器”，方法是首先对其进行图像分类任务的预训练，并使用最后一个隐藏层作为 RNN 解码器（用于生成句子）的输入。

— Oriol Vinyals 等人，看图说话：一个神经网络图像标题生成器，2014年

……一个 RNN 编码器-解码器，由两个循环神经网络（RNN）组成，分别作为编码器和解码器对。编码器将变长源序列映射到固定长度向量，解码器将向量表示映射回变长目标序列。

— Kyunghyun Cho 等人，使用 RNN 编码器-解码器学习短语表示以进行统计机器翻译，2014年

总结

在这篇文章中，您通过开发和应用这些技术的研究科学家的言语，对 LSTM 有了一个温和的介绍。

这为您提供了关于 LSTM 是什么以及它们如何工作的清晰准确概念，以及对 LSTM 在循环神经网络领域前景的重要阐述。

这些引语有没有帮助您理解或启发您？
在下面的评论中告诉我。

立即开发用于序列预测的 LSTM！

在几分钟内开发您自己的 LSTM 模型。

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 构建长短期记忆网络

它提供关于以下主题的自学教程：
CNN LSTM、编码器-解码器 LSTM、生成模型、数据准备、进行预测等等...

最终将 LSTM 循环神经网络引入。
您的序列预测项目。

跳过学术理论。只看结果。

查看内容