注意力机制在编码器-解码器递归神经网络中是如何工作的

注意力机制是为了提高机器翻译中 Encoder-Decoder RNN 的性能而开发的。

在本教程中，您将了解 Encoder-Decoder 模型中的注意力机制。

完成本教程后，您将了解：

• 关于 Encoder-Decoder 模型和机器翻译的注意力机制。
• 如何一步一步实现注意力机制。
• 注意力机制的应用和扩展。

通过我的新书《NLP 深度学习》启动您的项目，书中包含分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 更新于 2017 年 12 月：修复了第四步中的一个小错别字，感谢 Cynthia Freeman。

教程概述

本教程分为4个部分，它们是：

1. 编码器-解码器模型
2. 注意力模型
3. 注意力机制的实际应用示例
4. 注意力的扩展

编码器-解码器模型

循环神经网络的 Encoder-Decoder 模型在两篇论文中被提出。

两者都开发了这项技术来解决机器翻译中输入序列和输出序列长度不同的序列到序列的性质。

Ilya Sutskever 等人在论文《Sequence to Sequence Learning with Neural Networks》中使用了 LSTM 来实现。

Kyunghyun Cho 等人在论文《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》中也提出了该模型。这项工作以及一些相同的作者（Bahdanau、Cho 和 Bengio）后来开发了他们特定的模型来开发注意力模型。因此，我们将快速回顾一下该论文中描述的 Encoder-Decoder 模型。

从高层次来看，该模型由两个子模型组成：一个编码器和一个解码器。

• 编码器：编码器负责遍历输入时间步，并将整个序列编码成一个固定长度的向量，称为上下文向量。
• 解码器：解码器负责遍历输出时间步，同时读取上下文向量。

Encoder-Decoder 循环神经网络模型。
摘自“Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation”

我们提出了一个新颖的神经网络架构，该架构学会将可变长度序列编码为固定长度向量表示，并将给定的固定长度向量表示解码回可变长度序列。

— Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation, 2014。

该模型的关键在于，整个模型（包括编码器和解码器）是端到端训练的，而不是单独训练各个部分。

该模型是通用描述的，因此可以使用不同的特定 RNN 模型作为编码器和解码器。

作者没有使用流行的长短期记忆（LSTM）RNN，而是开发并使用了他们自己的简单类型的 RNN，后来称为门控循环单元（GRU）。

此外，与 Sutskever 等人的模型不同，解码器在前一个时间步的输出被作为输入来解码下一个输出时间步。您可以在上图看到，输出 y2 使用了上下文向量 (C)，以及从解码 y1 传递过来的隐藏状态和输出 y1。

…… y(t) 和 h(i) 都依赖于 y(t−1) 和输入序列的摘要 c。

— Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation, 2014

注意力模型

注意力机制由 Dzmitry Bahdanau 等人在其论文《Neural Machine Translation by Jointly Learning to Align and Translate》中提出，该论文可以看作是他们之前关于 Encoder-Decoder 模型工作的自然延伸。

注意力机制被提出是为了解决 Encoder-Decoder 模型将输入序列编码成一个固定长度向量，并从中解码每个输出时间步的局限性。据信，当解码长序列时，这个问题会更加突出。

这种编码器-解码器方法的一个潜在问题是，神经网络需要能够将源句子的所有必要信息压缩成一个固定长度的向量。这可能使神经网络难以处理长句子，尤其是那些比训练语料库中的句子更长的句子。

— Neural Machine Translation by Jointly Learning to Align and Translate, 2015。

注意力机制被提议作为一种同时进行对齐和翻译的方法。

对齐是机器翻译中识别输入序列的哪些部分与输出中的每个单词相关的过程，而翻译是使用相关信息选择适当输出的过程。

……我们引入了一种对编码器-解码器模型的扩展，该模型可以同时学习对齐和翻译。每次模型生成一个翻译单词时，它都会（软）搜索源句子中的一组位置，其中最相关的信息集中在那里。然后，模型根据与这些源位置相关的上下文向量以及所有先前生成的目标单词来预测目标单词。

— Neural Machine Translation by Jointly Learning to Align and Translate, 2015。

注意力模型不是将输入序列编码成一个单一的固定上下文向量，而是为每个输出时间步开发一个专门过滤的上下文向量。

注意力机制示例
摘自“Neural Machine Translation by Jointly Learning to Align and Translate”，2015。

与 Encoder-Decoder 论文一样，该技术应用于机器翻译问题，并使用 GRU 单元而不是 LSTM 记忆单元。在这种情况下，使用双向输入，输入序列同时以正向和反向提供，然后将它们连接起来再传递给解码器。

为了避免重复计算注意力的公式，我们将通过一个实际示例来理解。

注意力机制的实际应用示例

在本节中，我们将通过一个小的实际示例来具体说明注意力机制。具体来说，我们将通过非向量化项来逐步介绍计算过程。

这将为您提供足够详细的理解，使您能够将注意力机制添加到您自己的 Encoder-Decoder 实现中。

这个实际示例分为以下 6 个部分

1. 问题
2. 编码
3. 对齐
4. 加权
5. 上下文向量
6. 解码

1. 问题

这个问题是一个简单的序列到序列预测问题。

有三个输入时间步

模型需要预测 1 个时间步

在本例中，我们将忽略 Encoder 和 Decoder 中使用的 RNN 类型，并忽略双向输入层的用法。这些元素对于理解 Decoder 中注意力的计算并不重要。

2. 编码

在 Encoder-Decoder 模型中，输入将被编码为单个固定长度的向量。这是 Encoder 模型在最后一个时间步的输出。

注意力模型需要访问 Encoder 在每个输入时间步的输出。论文称这些为每个时间步的“注释”。在本例中

3. 对齐

Decoder 一次输出一个值，该值可能被传递给更多层，最后输出当前输出时间步的预测 (y)。

对齐模型对每个编码的输入 (h) 与 Decoder 的当前输出 (s) 的匹配程度进行评分 (e)。

评分的计算需要 Decoder 在前一个输出时间步的输出，例如 s(t-1)。在为 Decoder 的第一个输出评分时，它将是 0。

评分使用函数 a() 进行。我们可以为第一个输出时间步的每个注释 (h) 进行评分，如下所示：

我们对这些分数使用两个下标，例如 e11，其中第一个“1”表示输出时间步，第二个“1”表示输入时间步。

我们可以想象，如果我们有一个具有两个输出时间步的序列到序列问题，那么稍后我们可以为第二个时间步的注释评分（假设我们已经计算了 s1）

函数 a() 在论文中被称为对齐模型，并实现为前馈神经网络。

这是一个传统的一层网络，其中每个输入（s(t-1) 和 h1、h2、h3）都被加权，使用双曲正切 (tanh) 激活函数，输出也被加权。

4. 加权

接下来，使用 softmax 函数对对齐分数进行归一化。

分数的归一化允许它们被视为概率，指示每个编码的输入时间步（注释）与当前输出时间步相关的可能性。

这些归一化分数称为注释权重。

例如，给定计算出的对齐分数 (e)，我们可以按如下方式计算 softmax 注释权重 (a)：

如果我们有两个输出时间步，第二个输出时间步的注释权重将按如下方式计算：

5. 上下文向量

接下来，每个注释 (h) 都乘以注释权重 (a)，以生成一个新的注意力上下文向量，从中可以解码当前的输出时间步。

为了简化，我们只有一个输出时间步，因此我们可以如下计算单个元素的上下文向量（使用括号方便阅读）：

上下文向量是注释的加权和，并经过归一化的对齐分数。

如果我们有两个输出时间步，上下文向量将包含两个元素 [c1, c2]，计算如下：

6. 解码

解码然后按照 Encoder-Decoder 模型进行，但在此情况下使用当前时间步的注意力上下文向量。

Decoder 的输出 (s) 在论文中被称为隐藏状态。

这可能会被馈送到额外的层，最终作为该时间步的预测 (y1) 输出模型。

注意力的扩展

本节将探讨 Bahdanau 等人的注意力机制的一些额外应用。

硬注意力和软注意力

在 2015 年的论文《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》中，Kelvin Xu 等人将注意力机制应用于图像数据，使用卷积神经网络作为图像数据的特征提取器来解决照片字幕生成问题。

他们开发了两种注意力机制，一种称为“软注意力”，它类似于上述带有加权上下文向量的注意力机制，第二种称为“硬注意力”，它针对每个单词对上下文向量中的元素做出明确的决策。

他们还提出了双重注意力，即将注意力集中在图像的特定部分。

丢弃前一个隐藏状态

有一些应用对该机制进行了简化，使得最后一个输出时间步的隐藏状态 (s(t-1)) 被从注释评分（如上第 3 步）中移除。

有两个例子：

• 文档分类的层次注意力网络, 2016.
• 用于关系分类的基于注意力的双向长短期记忆网络, 2016

其效果是模型没有获得前一个解码输出的信息，而这本应有助于对齐。

这在论文中的方程中有体现，并且不清楚这是对模型有意进行的更改，还是仅仅是方程中的遗漏。在两篇论文中都没有看到对丢弃该项的讨论。

研究前一个隐藏状态

Minh-Thang Luong 等人在其 2015 年的论文《Effective Approaches to Attention-based Neural Machine Translation》中明确重构了前一个解码器隐藏状态在注释评分中的使用。另请参见论文的演示和相关 Matlab 代码。

他们开发了一个框架来对比评分注释的不同方法。他们的框架明确列出了注释评分中不包括前一个隐藏状态。

取而代之的是，他们将前一个注意力上下文向量作为输入传递给解码器。目的是让解码器了解过去的对齐决策。

……我们提出了一种输入馈送方法，其中注意力向量 ht 在下一个时间步与输入连接（……）。具有此类连接的效果是双重的：(a) 我们希望模型充分了解先前的对齐选择，(b) 我们创建了一个跨越水平和垂直方向的非常深的网络。

— Effective Approaches to Attention-based Neural Machine Translation, 2015。

下图是该论文中此方法的图片。请注意虚线明确显示了解码器的注意力隐藏状态输出 (ht) 如何在下一个时间步为解码器提供输入。

将隐藏状态作为输入馈送给解码器
摘自“Effective Approaches to Attention-based Neural Machine Translation”，2015。

他们还开发了“全局”与“局部”注意力，其中局部注意力是对该方法的一种修改，该方法学习一个固定大小的窗口来应用于每个输出时间步的注意力向量。这被视为 Xu 等人提出的“硬注意力”的一种更简单的方法。

全局注意力有一个缺点，那就是它必须为每个目标词关注源端的所有词，这很昂贵，而且可能使翻译长序列（例如段落或文档）变得不切实际。为了解决这个缺陷，我们提出了一种局部注意力机制，该机制选择在每个目标词上只关注源位置的一小部分。

— Effective Approaches to Attention-based Neural Machine Translation, 2015。

该论文对全局和局部注意力以及不同注释评分函数的分析表明，局部注意力在翻译任务上能提供更好的结果。

进一步阅读

如果您想深入了解此主题，本节提供了更多资源。

Encoder-Decoder 论文

• Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation, 2014.
• 使用神经网络进行序列到序列学习, 2014.

注意力论文

• 通过联合学习对齐和翻译的神经机器翻译, 2015.
• 展示、关注和讲述：带视觉注意力的神经图像标题生成, 2015.
• 文档分类的层次注意力网络, 2016.
• 用于关系分类的基于注意力的双向长短期记忆网络, 2016
• 基于注意力的神经机器翻译的有效方法, 2015.

更多关于注意力机制

• 长短期记忆循环神经网络中的注意力机制
• 讲座 10：神经机器翻译和带注意力的模型，斯坦福大学，2017
• 讲座 8 – 使用注意力生成语言，牛津大学。

总结

在本教程中，您了解了 Encoder-Decoder 模型中的注意力机制。

具体来说，你学到了：

• 关于 Encoder-Decoder 模型和机器翻译的注意力机制。
• 如何一步一步实现注意力机制。
• 注意力机制的应用和扩展。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发文本数据的深度学习模型！

在几分钟内开发您自己的文本模型

...只需几行python代码

在我的新电子书中探索如何实现
用于自然语言处理的深度学习

它提供关于以下主题的自学教程：
词袋模型、词嵌入、语言模型、标题生成、文本翻译等等...

最终将深度学习应用于您的自然语言处理项目

跳过学术理论。只看结果。

查看内容