长短期记忆循环神经网络中的注意力机制

编码器-解码器架构之所以流行，是因为它在一系列领域中展示了最先进的成果。

该架构的一个限制是它将输入序列编码为固定长度的内部表示。这限制了可以合理学习的输入序列的长度，并导致对于非常长的输入序列性能下降。

在这篇文章中，您将了解用于循环神经网络的注意力机制，它旨在克服这一限制。

阅读本文后，你将了解：

• 编码器-解码器架构和固定长度内部表示的局限性。
• 克服该限制的注意力机制允许网络学习在输出序列的每个项目上，应将注意力集中在输入序列的哪些部分。
• 注意力机制与循环神经网络在文本翻译、语音识别等领域的5种应用。

通过我的新书《使用Python的长短期记忆网络》启动您的项目，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

长短期记忆循环神经网络中的注意力机制
图片由Jonas Schleske提供，保留部分权利。

长序列问题

编码器-解码器循环神经网络是一种架构，其中一组LSTM学习将输入序列编码成固定长度的内部表示，第二组LSTM读取内部表示并将其解码成输出序列。

这种架构在文本翻译等困难的序列预测问题上取得了最先进的成果，并迅速成为主流方法。

例如，请参见

• 使用神经网络进行序列到序列学习, 2014
• 使用 RNN 编码器-解码器学习短语表示进行统计机器翻译, 2014

编码器-解码器架构在各种问题上仍然取得了优异的成果。然而，它受到所有输入序列都被强制编码为固定长度内部向量的限制。

这被认为限制了这些网络的性能，尤其是在考虑长输入序列时，例如文本翻译问题中非常长的句子。

这种编码器-解码器方法的一个潜在问题是，神经网络需要能够将源句的所有必要信息压缩成一个固定长度的向量。这可能使得神经网络难以处理长句子，尤其是那些比训练语料库中的句子更长的句子。

— Dzmitry Bahdanau 等人，《通过联合学习对齐和翻译的神经机器翻译》，2015年

序列内的注意力

注意力的理念是使编码器-解码器架构摆脱固定长度的内部表示。

这通过保留编码器 LSTM 在输入序列每个步骤的中间输出，并训练模型学习有选择地关注这些输入，并将它们与输出序列中的项目关联起来实现。

换句话说，输出序列中的每个项目都取决于输入序列中的选择性项目。

每当提出的模型在翻译中生成一个单词时，它都会（软）搜索源句子中信息最相关的几个位置。然后，模型根据与这些源位置相关的上下文向量以及所有之前生成的词语来预测目标词。

……它将输入句子编码成一系列向量，并在解码翻译时自适应地选择这些向量的子集。这使得神经翻译模型无需将源句的所有信息（无论其长度如何）压缩成固定长度的向量。

— Dzmitry Bahdanau 等人，《通过联合学习对齐和翻译的神经机器翻译》，2015年

这增加了模型的计算负担，但带来了更具针对性且性能更好的模型。

此外，该模型还能够展示在预测输出序列时如何关注输入序列。这有助于理解和诊断模型正在考虑什么以及特定输入-输出对的程度。

所提出的方法提供了一种直观的方式来检查生成翻译中的单词与源句子中的单词之间的（软）对齐。这是通过可视化注释权重来完成的……每幅图中矩阵的每一行表示与注释相关的权重。从中我们可以看出在生成目标词时，源句子中的哪些位置被认为更重要。

— Dzmitry Bahdanau 等人，《通过联合学习对齐和翻译的神经机器翻译》，2015年

大图像的问题

应用于计算机视觉问题的卷积神经网络也存在类似的局限性，即很难在大图像上学习模型。

因此，可以通过对大图像进行一系列“瞥视”，在进行预测之前形成对图像的近似印象。

人类感知的一个重要特性是，人不会一次性处理整个场景。相反，人类会选择性地将注意力集中在视觉空间的某些部分，以便在需要时获取信息，并随着时间的推移将不同注视点的信息结合起来，以建立场景的内部表示，指导未来的眼球运动和决策。

— 视觉注意力的循环模型，2014年

这些基于“瞥视”的修改也可以被认为是注意力，但本文不予讨论。

请参阅相关论文。

• 视觉注意力的循环模型, 2014
• DRAW：用于图像生成的循环神经网络, 2014
• 使用视觉注意力的多目标识别, 2014

序列预测中注意力的5个例子

本节提供了一些具体示例，说明如何将注意力用于循环神经网络的序列预测。

1. 文本翻译中的注意力

上面提到的激励性例子是文本翻译。

给定一个法语句子的输入序列，翻译并输出一个英语句子。注意力用于关注输出序列中每个单词的输入序列中的特定单词。

我们通过让模型在生成每个目标词时（软）搜索一组输入词或其由编码器计算的注释来扩展了基本的编码器-解码器。这使得模型无需将整个源句子编码成固定长度的向量，也让模型能够只关注与生成下一个目标词相关的信息。

— Dzmitry Bahdanau 等人，《通过联合学习对齐和翻译的神经机器翻译》，2015年

法英翻译的注意力解释
摘自 Dzmitry Bahdanau 等人，《通过联合学习对齐和翻译的神经机器翻译》，2015年

2. 图像描述中的注意力

与瞥视方法不同，基于序列的注意力机制可以应用于计算机视觉问题，以帮助了解如何最佳地使用卷积神经网络在输出序列（例如字幕）时关注图像。

给定图像输入，输出该图像的英文描述。注意力用于关注输出序列中每个单词的图像不同部分。

我们提出了一种基于注意力的方法，在三个基准数据集上提供了最先进的性能……我们还展示了如何利用学习到的注意力来更好地解释模型的生成过程，并证明学习到的对齐与人类直觉非常吻合。

输出词语与输入图像特定区域的注意力解释
摘自《展示、关注与讲述：利用视觉注意力生成神经图像字幕》，2016年

— 《展示、关注与讲述：利用视觉注意力生成神经图像字幕》，2016年

3. 蕴涵中的注意力

给定一个前提情景和关于该情景的英文假设，输出该前提是矛盾、不相关还是蕴涵该假设。

例如：

• 前提：“婚礼派对正在拍照”
• 假设：“有人结婚了”

注意力用于将假设中的每个词与前提中的词相关联，反之亦然。

我们提出了一个基于LSTM的神经模型，它一次性读取两个句子以确定蕴含关系，而不是将每个句子独立映射到语义空间。我们用神经词对词注意力机制扩展了这个模型，以鼓励对词对和短语的蕴含进行推理。……一个带有词对词神经注意力的扩展模型，其结果比这个强大的基准LSTM结果高出2.6个百分点，创下了新的最先进准确率……

— 《利用神经注意力进行蕴含推理》，2016年

前提词与假设词的注意力解释
摘自《利用神经注意力进行蕴含推理》，2016年

4. 语音识别中的注意力

给定英文语音片段的输入序列，输出音素序列。

注意力用于将输出序列中的每个音素与输入序列中音频的特定帧相关联。

……一种新颖的端到端可训练语音识别架构，基于混合注意力机制，该机制结合内容和位置信息以选择输入序列中用于解码的下一个位置。所提出模型的一个理想特性是它可以识别比其训练时使用的更长的语音。

— 《基于注意力的语音识别模型》，2015年。

输出音素位置与输入音频帧的注意力解释
摘自《基于注意力的语音识别模型》，2015年

5. 文本摘要中的注意力

给定一篇英文文章的输入序列，输出一个总结输入的英文单词序列。

注意力用于将输出摘要中的每个单词与输入文档中的特定单词关联起来。

……一个用于抽象摘要的基于神经注意力的模型，基于神经机器翻译的最新发展。我们将这个概率模型与生成算法相结合，该算法能够生成准确的抽象摘要。

— 《用于抽象句摘要的神经注意力模型》，2015年

输入文档中单词与输出摘要的注意力解释
摘自《用于抽象句摘要的神经注意力模型》，2015年。

进一步阅读

本节提供了额外的资源，如果您想了解更多关于在LSTM中添加注意力机制的信息。

• 深度学习和NLP中的注意力与记忆
• 注意力机制
• NLP中基于注意力模型的综述
• RNN（循环神经网络）中引入的注意力机制到底是什么？ 在Quora上。
• 神经网络中的注意力机制是什么？

在撰写本文时，Keras 尚未提供开箱即用的注意力机制，但有一些第三方实现。请参阅

• 使用 Keras 进行问答的深度语言建模
• 注意力模型可用！
• Keras注意力机制
• 注意力与增强型循环神经网络
• 如何在循环层之上添加注意力（文本分类）
• 注意力机制实现问题
• 实现简单的神经注意力模型（用于填充输入）
• 注意力层需要另一个PR
• seq2seq库

您知道关于循环神经网络中注意力的好资源吗？
请在评论中告诉我。

总结

在这篇文章中，您了解了用于 LSTM 循环神经网络序列预测问题的注意力机制。

具体来说，你学到了：

• 循环神经网络的编码器-解码器架构使用固定长度的内部表示，这带来了限制长序列学习的约束。
• 注意力机制克服了编码器-解码器架构中的限制，它允许网络学习在输出序列的每个项目上，应将注意力集中在输入的哪些部分。
• 这种方法已应用于不同类型的序列预测问题，包括文本翻译、语音识别等。

您对循环神经网络中的注意力机制有任何疑问吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发用于序列预测的 LSTM！

在几分钟内开发您自己的 LSTM 模型。

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 构建长短期记忆网络

它提供关于以下主题的自学教程：
CNN LSTM、编码器-解码器 LSTM、生成模型、数据准备、进行预测等等...

最终将 LSTM 循环神经网络引入。
您的序列预测项目。

跳过学术理论。只看结果。

查看内容