如何在Keras中开发带注意力机制的编码器-解码器模型

用于循环神经网络的编码器-解码器架构在自然语言处理领域的许多序列到序列预测问题中都表现出色，例如机器翻译和字幕生成。

注意力机制解决了编码器-解码器架构在长序列上的一个限制，并且通常能加速学习并提升模型在序列到序列预测问题上的技能。

在本教程中，您将学习如何使用 Keras 在 Python 中开发一个带注意力机制的编码器-解码器循环神经网络。

完成本教程后，您将了解：

• 如何设计一个小型且可配置的问题来评估带或不带注意力机制的编码器-解码器循环神经网络。
• 如何设计和评估一个用于序列预测问题的带或不带注意力机制的编码器-解码器网络。
• 如何稳健地比较带或不带注意力机制的编码器-解码器网络的性能。

开始您的项目，阅读我的新书《Python 长短期记忆网络》，其中包括分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 注意：2020年5月：底层 API 已更改，本教程可能不再是最新的。您可能需要旧版本的 Keras 和 TensorFlow，例如 Keras 2 和 TF 1。

如何使用 Keras 开发用于序列到序列预测的带注意力机制的编码器-解码器模型
照片由 Angela and Andrew 拍摄，保留部分权利。

教程概述

本教程分为6个部分；它们是

1. 带注意力的编码器-解码器
2. 注意力测试问题
3. 不带注意力的编码器-解码器
4. 自定义 Keras 注意力层
5. 带注意力的编码器-解码器
6. 模型对比

Python 环境

本教程假设您已安装 Python 3 SciPy 环境。

您必须安装 Keras（2.0 或更高版本），并使用 TensorFlow 或 Theano 后端。

本教程还假设您已安装 scikit-learn、Pandas、NumPy 和 Matplotlib。

如果您在环境方面需要帮助，请参阅此帖子

• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境

带注意力的编码器-解码器

用于循环神经网络的编码器-解码器模型是序列到序列预测问题的架构。

正如其名称所示，它由两个子模型组成：

• 编码器：编码器负责遍历输入时间步，并将整个序列编码成一个固定长度的向量，称为上下文向量。
• 解码器：解码器负责遍历输出时间步，同时读取上下文向量。

该架构的一个问题是，它在长输入或输出序列上的性能较差。据信原因是编码器使用的内部表示固定大小。

注意力是该架构的一个扩展，它解决了这个限制。它首先为解码器提供来自编码器的更丰富的上下文，并提供一种学习机制，解码器可以学习在预测输出序列的每个时间步时，在哪里关注更丰富的编码。

有关编码器-解码器架构中注意力的更多信息，请参阅以下帖子：

• 长短期记忆循环神经网络中的注意力机制
• 注意力机制在编码器-解码器递归神经网络中是如何工作的

注意力测试问题

在开发带注意力的模型之前，我们将首先定义一个人为设计的、可扩展的测试问题，用于确定注意力是否能带来任何好处。

在这个问题中，我们将生成随机整数序列作为输入，并生成匹配的输出序列，该序列由输入序列中的整数子集组成。

例如，输入序列可能是 [1, 6, 2, 7, 3]，预期的输出序列可能是序列中的前两个随机整数 [1, 6]。

我们将问题定义为使输入和输出序列的长度相同，并在需要时用“0”值填充输出序列。

首先，我们需要一个函数来生成随机整数序列。我们将使用 Python 的 randint() 函数在 0 到最大值之间生成随机整数，并将此范围作为问题的基数（例如，特征的数量或难度轴）。

下面的 generate_sequence() 函数将生成一个固定长度且具有指定基数的随机整数序列。

运行此示例将生成一个 5 个时间步长的序列，序列中的每个值都是 0 到 49 之间的随机整数。

接下来，我们需要一个函数来 one-hot 编码离散整数值为二进制向量。

如果使用 50 的基数，则每个整数将由一个 50 维的零向量和一个在指定整数值索引处的 1 来表示。

下面的 one_hot_encode() 函数将对给定的整数序列进行 one-hot 编码。

我们还需要能够解码编码后的序列。这对于将模型的预测或编码的预期序列转换回我们可以读取和评估的整数序列是必需的。

下面的 one_hot_decode() 函数将把 one-hot 编码的序列解码回整数序列。

我们可以在下面的示例中测试这些操作。

运行示例将首先打印一个随机生成的序列，然后是 one-hot 编码的版本，最后是再次解码的序列。

最后，我们需要一个函数来创建输入和输出序列对，以训练和评估模型。

下面的 get_pair() 函数将在给定指定的输入长度、输出长度和基数的情况下返回一个输入和输出序列对。输入和输出序列的长度相同，即输入序列的长度，但输出序列将取自输入序列的前 n 个字符，并用零值填充到所需长度。

然后，整数序列会被编码，然后重塑为循环神经网络所需的 3D 格式，维度为：样本、时间步长和特征。在这种情况下，样本始终为 1，因为我们只生成一个输入-输出对；时间步长是输入序列的长度；特征是每个时间步的基数。

我们可以将所有这些组合起来，并演示数据准备代码。

运行此示例将生成一个输入-输出对，并打印两个数组的形状。

生成的对随后以解码形式打印，我们可以看到序列的前两个整数在输出序列中重复出现，后跟零值填充。

编码器-解码器无注意力机制

在本节中，我们将开发一个不带注意力机制的编码器-解码器模型作为性能基线。

我们将问题定义固定为：输入和输出序列均为 5 个时间步长，输出序列为输入序列的前 2 个元素，基数为 50。

我们可以通过采用编码器 LSTM 模型的输出来开发一个简单的 Keras 编码器-解码器模型，将其重复 n 次以匹配输出序列的时间步长，然后使用解码器来预测输出序列。

有关如何在 Keras 中定义编码器-解码器架构的更多详细信息，请参阅以下帖子：

• 编码器-解码器长短期记忆网络

我们将使用相同的单元数来配置编码器和解码器，此处为 150。我们将使用高效的 Adam 梯度下降实现，并优化分类交叉熵损失函数，因为该问题在技术上是一个多类分类问题。

模型的配置是在一些试错后找到的，远非最优。

Keras 中编码器-解码器架构的代码如下所示。

我们将使用 5,000 个随机输入-输出整数序列对来训练模型。

训练完成后，我们将使用 100 个新的随机生成的整数序列来评估模型，并且只有当整个输出序列与预期值匹配时，才将预测标记为正确。

最后，我们将打印 10 个预期的输出序列和模型预测的序列的示例。

综合所有这些，完整的示例如下所示。

运行此示例不会花费太长时间，可能在 CPU 上需要几分钟，不需要 GPU。

注意：鉴于算法或评估程序的随机性，或数值精度的差异，您的结果可能有所不同。可以尝试多次运行示例并比较平均结果。

模型的准确率报告略低于 20%。

从样本输出可以看出，该模型在大多数或所有情况下都能在输出序列中获得一个正确的数字，但在第二个数字上则表现不佳。所有零填充值都得到了正确预测。

自定义 Keras 注意力层

现在我们需要将注意力添加到编码器-解码器模型中。

在撰写本文时，Keras 库本身尚未内置注意力功能，但它即将推出 即将到来。

在注意力机制正式可用之前，我们可以自行实现，也可以使用现有的第三方实现。

为了加快速度，让我们使用现有的第三方实现。

Zafarali Ahmed，Datalogue 的实习生，开发了一个 Keras 的自定义层，支持注意力机制，该层在 2017 年发表的题为“如何在 Keras 中可视化您的带注意力的循环神经网络”的帖子和名为“keras-attention”的 GitHub 项目中进行了介绍。

自定义注意力层称为 AttentionDecoder，在 GitHub 项目的 custom_recurrents.py 文件中可用。我们可以根据项目的 GNU Affero General Public License v3.0 许可证重用此代码。

为完整起见，以下是自定义层的副本。将其复制并粘贴到当前工作目录中一个名为 'attention_decoder.py' 的新独立文件中。

We can make use of this custom layer in our projects by importing it as follows

The layer implements attention as described by Bahdanau, et al. in their paper “Neural Machine Translation by Jointly Learning to Align and Translate.”

The code is explained well in the original post and linked to both the LSTM and attention equations.

A limitation of this implementation is that it must output sequences that are the same length as the input sequences, the specific limitation that the encoder-decoder architecture was designed to overcome.

Importantly, the new layer manages both the repeating of the decoding as performed by the second LSTM, as well as the softmax output for the model as was performed by the Dense output layer in the encoder-decoder model without attention. This greatly simplifies the code for the model.

It is important to note that the custom layer is built upon the Recurrent layer in Keras, which, at the time of writing, is marked as legacy code, and presumably will be removed from the project at some point.

Encoder-Decoder With Attention

Now that we have an implementation of attention that we can use, we can develop an encoder-decoder model with attention for our contrived sequence prediction problem.

The model with the attention layer is defined below. We can see that the layer handles some of the machinery of the encoder-decoder model itself, making defining the model simpler.

That’s it. The rest of the example is the same.

完整的示例如下所示。

Running the example prints the skill of the model on 100 randomly generated input-output pairs.

注意：鉴于算法或评估程序的随机性，或数值精度的差异，您的结果可能有所不同。可以尝试多次运行示例并比较平均结果。

With the same resources and same amount of training, the model with attention performs much better.

Spot-checking some sample outputs and predicted sequences, we can see very few errors, even in cases when there is a zero value in the first two elements.

模型对比

Although we are getting better results from the model with attention, the results were reported from a single run of each model.

In this case, we seek a more robust finding by repeating the evaluation of each model multiple times and reporting the average performance over those runs. For more information on this robust approach to evaluating neural network models, see the post

• 如何评估深度学习模型的技能

We can define a function to create each type of model, as follows.

We can then define a function to fit and evaluate the accuracy of a fit model and return the accuracy score.

Putting this together, we can repeat the process of creating, training, and evaluating each type of model multiple times and reporting the mean accuracy over the repeats. To keep running times down, we will repeat each model evaluation 10 times, although if you have the resources, you could increase this to 30 or 100 times.

完整的示例如下所示。