使用注意力机制构建 Transformer 模型速成课程。在 12 天内构建一个神经机器翻译器

Transformer 是神经机器翻译领域的最新突破。自然语言非常复杂。一种语言中的一个词根据其上下文，可以在另一种语言中翻译成多个词。但上下文究竟是什么，以及如何让计算机理解上下文，一直是一个需要解决的重大问题。注意力机制的发明解决了如何将上下文编码到词中的问题，换句话说，如何将一个词及其上下文在数值向量中一起表示。Transformer 将这一点提升到了一个新的高度，使得我们可以仅使用注意力机制而无需循环结构来构建用于自然语言翻译的神经网络。这不仅使网络更简单、更容易训练，并且算法上易于并行化，而且还允许构建更复杂的语言模型。因此，我们可以看到计算机翻译的句子几乎完美无瑕。

事实上，如此强大的深度学习模型并不难构建。在 TensorFlow 和 Keras 中，几乎所有的构建模块都已现成可用，训练模型只需几个小时。看到 Transformer 模型构建和训练过程很有趣，看到训练好的模型能将句子从一种语言翻译成另一种语言更有趣。

在这个速成班中，您将按照与原始论文类似的设计来构建一个 Transformer 模型。

这是一篇内容丰富且重要的文章。您可能想把它加入书签。

让我们开始吧。

构建带注意力机制的 Transformer 模型（12 天迷你课程）。
照片由 Norbert Braun 拍摄，保留部分权利。

本速成课程适合谁？

在开始之前，请确保您来到了正确的地方。

本课程面向已熟悉 TensorFlow/Keras 的开发者。本课程中的内容假定您具备以下知识：

• 您知道如何构建自定义模型，包括 Keras 函数式 API
• 您知道如何在 Keras 中训练深度学习模型
• 您知道如何使用训练好的模型进行推理

您不需要是

• 一位自然语言处理专家
• 一位多语种使用者

这个速成班可以帮助您更深入地理解 Transformer 模型是什么以及它能做什么。

本速成班假定您已安装并配置好可用的 TensorFlow 2.10 环境。如果您在环境配置方面需要帮助，可以按照此处的逐步教程进行操作：

• 如何使用 Anaconda 为机器学习设置你的 Python 环境

速成课程概览

本速成班分为 12 个课时。

您可以每天完成一节课（推荐），或者在一天内完成所有课程（硬核）。这真的取决于您的可用时间和热情程度。

以下是帮助您开始学习和了解 Transformer 模型构建的 12 个课时列表。

• 第 01 课：获取数据
• 第 02 课：文本规范化
• 第 03 课：向量化和创建数据集
• 第 04 课：位置编码矩阵
• 第 05 课：位置编码层
• 第 06 课：Transformer 构建块
• 第 07 课：Transformer 编码器和解码器
• 第 08 课：构建 Transformer
• 第 09 课：准备 Transformer 模型进行训练
• 第 10 课：训练 Transformer
• 第 11 课：Transformer 模型推理
• 第 12 课：改进模型

每个课时可能需要您 15 到 60 分钟的时间。请花时间按照自己的节奏完成课程。随时提问，甚至可以在线上的评论区分享您的成果。

课程内容可能会要求您自行查找某些操作的方法。本指南会提供一些提示，但即使您只是遵循课程中的代码，也能完成一个相当不错的 Transformer 模型。

在评论中发布您的结果；我会为您加油！

坚持下去；不要放弃。

第 01 课：获取数据

在构建神经机器翻译器的过程中，您需要数据来进行训练和测试。让我们来构建一个基于句子的英法翻译器。互联网上有很多资源。例如，可以用于闪卡应用程序 Anki 的用户贡献数据。您可以在 https://ankiweb.net/shared/decks/french 下载一些数据文件。数据文件将是一个 ZIP 文件，其中包含一个 SQLite 数据库文件，您可以从中提取英法句子对。

但是，您可能会发现文本文件版本更方便，可以在 https://www.manythings.org/anki/ 找到。Google 也托管了该文件的镜像，我们将在本次中使用它。
我们将使用它。

下面的代码将下载压缩的数据文件并进行解压

数据文件将是一个名为 fra.txt 的纯文本文件。其格式为：

您的任务

尝试运行上面的代码并打开解压后的文件。您应该会验证每行的格式都如上所示。

在下一课中，您将处理此文件并准备适合训练和测试的数据集。

第 02 课：文本规范化

与所有 NLP 任务一样，在使用文本之前需要对其进行规范化。法语字母带有重音符号，这些重音符号会表示为 Unicode 字符，但在 Unicode 中的表示方式并不唯一。因此，您会将字符串转换为 NFKC（兼容性与组合规范化形式）。

接下来，您将对句子进行分词。每个单词以及每个标点符号都应成为一个单独的标记。但是，像 don’t、va-t-il 或 c’est 这样的缩略语中使用的标点符号并未与单词分开。此外，将所有内容转换为小写，以期减少词汇表中不同词的数量。

规范化和分词可以更深入，例如子词分词、词干提取和词形还原。但为了简单起见，本项目不做这些。

从头开始，用于规范化文本的代码如下。您将使用 Python 模块 unicodedata 将 Unicode 字符串转换为 NFKC 规范形式。然后，您将使用正则表达式在标点符号周围添加空格。之后，您将用哨兵标记 [start] 和 [end] 包装法语句子（即目标语言）。您将在后续课程中看到这些哨兵标记的用途。

运行后，您应该会看到一些样本结果，例如：

我们将规范化后的句子对保存在 pickle 文件中，以便在后续步骤中重用。

当您将其用于模型时，您会想了解有关此数据集的一些统计信息。特别是，您想知道每种语言中有多少个不同的标记（单词）以及句子的长度。您可以通过以下方式确定这些信息：

您的任务

运行上面的代码。查看样本句子以及您收集的统计数据。记住这些输出，它们将在下一课中很有用。此外，知道句子的最大长度不如知道它们的分布有用。您应该绘制直方图来查看它们。尝试一下，生成下面的图表：

不同语言的句子长度

在下一课中，您将对这些规范化后的文本数据进行向量化并创建数据集。

第 03 课：向量化和创建数据集

在前一课中，您清理了句子，但它们仍然是文本。神经网络只能处理数字。将文本转换为数字的一种方法是通过向量化。这意味着将文本中的标记转换为整数。因此，一个包含 $n$ 个标记（单词）的句子将变成一个包含 $n$ 个整数的向量。

您可以构建自己的向量化器。只需构建一个将每个唯一标记映射到唯一整数的映射表。使用时，您可以逐个查找表中的标记，并将整数以向量形式返回。

在 Keras 中，您可以使用 TextVectorization 层来为我们节省构建向量化器的精力。它支持填充，即整数 0 保留用于表示“空”。当您输入一个有 $m < n$ 个标记的句子，但希望向量化器始终返回一个固定长度为 $n$ 的向量时，这很有用。

您将首先将句子对拆分为训练集、验证集和测试集，因为您在模型训练中需要用到它们。然后，创建一个 TextVectorization 层并将其适配到训练集（因为在模型训练完成之前，您不应查看验证集或测试集）。

请注意，TextVectorization 对象的 max_tokens 参数可以省略，让向量化器自行确定。但如果您将其设置为小于总词汇量的某个值（如本例），则会限制向量化器仅学习更频繁的单词，并将稀有单词视为词汇表外（OOV）。这有助于跳过价值不高或拼写错误的单词。您还可以固定向量化器的输出长度。我们在上面假定一个句子不应超过 20 个标记。

下一步将是利用向量化器并创建一个 TensorFlow Dataset 对象。这将在您后续的步骤中用于训练我们的模型。

稍后您将重用此代码来创建 `train_ds` 和 `val_ds` 数据集对象。

您的任务

运行上述代码。验证您是否看到了与以下内容类似的输出：

确切的向量可能不同，但您应该看到形状都应该是（batch size, sequence length）。上面的部分代码是从 François Chollet 的教程《使用序列到序列 Transformer 进行英汉翻译》中借用的。您也可以看看他的 Transformer 实现与本迷你课程有何不同。

在下一课中，我们将讨论位置编码。

第 04 课：位置编码矩阵

当一个句子被向量化时，您会得到一个整数向量，其中每个整数代表一个单词。这里的整数只是一个标签。我们不能假设两个整数越接近，它们所代表的单词就越相关。

为了理解单词的含义，从而量化两个单词之间的关系，您将使用 **词嵌入** 技术。但是要理解上下文，您还需要知道每个单词在句子中的位置。这通过 **位置编码** 来完成。

在论文《Attention Is All You Need》中，位置编码用一个向量表示每个 token 的位置。向量的元素是正弦波的不同相位和频率的值。具体来说，在位置 $k=0, 1, \cdots, L-1$，位置编码向量（长度为 $d$）为

$$
[P(k,0), P(k,1), \cdots, P(k,d-2), P(k,d-1)]
$$

其中对于 $i=0, 1, \cdots, d/2$，

$$
\begin{aligned}
P(k, 2i) &= \sin\Big(\frac{k}{n^{2i/d}}\Big) \\
P(k, 2i+1) &= \cos\Big(\frac{k}{n^{2i/d}}\Big)
\end{aligned}
$$

在论文中，他们使用了 $n=10000$。

实现位置编码并不困难，尤其是如果您可以使用 NumPy 的向量函数。

可以看到，我们创建了一个生成位置编码的函数。上面我们用 $L=2048$ 和 $d=512$ 对其进行了测试。输出将是一个 $2048\times 512$ 的矩阵。我们还将编码绘制成了热力图。它看起来应该像这样。

位置编码矩阵的热力图表示

您的任务

上面的热力图可能对您来说不太吸引人。更好的可视化方法是分离正弦曲线和余弦曲线。尝试使用下面的代码重用已保存的位置编码矩阵，并获得更清晰的可视化。

如果您愿意，可以检查矩阵中的不同“深度”是否代表不同频率的正弦曲线。一个可视化它们的例子如下：

但是，如果您可视化矩阵的一个“位置”，您会看到一条有趣的曲线。

这显示了如下内容：

一个编码向量

编码矩阵的有用之处在于，当您比较两个编码向量时，您可以得知它们的位置相距多远。两个归一化向量的点积如果它们相同则为 1，如果它们相距较远则迅速下降。这种关系可以用下图来可视化：

归一化位置编码向量的点积

在下一课中，您将使用位置编码矩阵在 Keras 中构建一个位置编码层。

第 05 课：位置编码层

Transformer 模型

论文《Attention Is All You Need》中的 Transformer 模型如下图所示：

位置编码层位于 Transformer 模型 的入口点。但是，Keras 库没有提供现成的。您可以创建一个自定义层来实现位置编码，如下所示。

此层确实结合了嵌入层和位置编码。嵌入层创建词嵌入，即，将矢量化句子中的整数标记标签转换为可以承载词语含义的向量。通过嵌入，您可以了解两个不同词语在含义上的接近程度。

嵌入的输出取决于分词后的输入句子。但是位置编码是一个常数矩阵，因为它仅取决于位置。因此，您在创建此层时为其创建了一个常数张量。TensorFlow足够智能，可以在call()函数中将嵌入输出添加到位置编码矩阵时匹配维度。

上面的层中定义了另外两个函数。compute_mask()函数会传递给嵌入层。这对于告知输出的哪些位置被填充是必需的。Keras将在内部使用它。get_config()函数用于记住此层的所有配置参数。这是Keras的标准做法，以便您可以记住传递给构造函数的所有参数，并在get_config()中返回它们，从而可以保存和加载模型。

您的任务

将以上代码与Lesson 03中创建的数据集train_ds和下面的代码片段结合起来

您应该看到如下输出

可以看到，上面打印的第一个张量是矢量化输入句子的一个批次（64个样本），用零填充到长度20。每个标记是一个整数，但将被转换为维度为512的嵌入。因此，en_emb的形状为(64, 20, 512)。

上面打印的最后一个张量是使用的掩码。这基本上匹配输入中非零的位置。在计算准确率时，您必须记住填充的位置不应被计算。

在下一课中，您将完成Transformer模型的其他构建块。

第 06 课：Transformer 构建块

再次查看Lesson 05中的Transformer图，您会发现除了嵌入和位置编码之外，您还有编码器（图的左半部分）和解码器（图的右半部分）。它们有一些相似之处。最值得注意的是，它们在开始时都有一个多头注意力块，在末尾都有一个前馈块。

如果将每个构建块创建为单独的子模型，然后在以后将它们组合成一个更大的模型，那会更容易。

首先，您创建自注意力模型。它位于编码器和解码器底部的图的一部分。多头注意力层将接收三个输入，即键、值和查询。如果所有三个输入都相同，我们就称这种多头注意力层为自注意力。该子模型将包含一个add & norm层，并带有skip connection来规范化注意力层的输出。其实现如下：

上面定义的函数对编码器和解码器都是通用的。解码器将设置mask=True选项来将因果掩码应用于输入。

设置一些参数并创建一个模型。绘制的模型将如下所示。

键维度=128的自注意力架构

在解码器中，您有一个交叉注意力模型，它接收来自自注意力模型以及编码器的输入。在这种情况下，值和键是来自编码器的输出，而查询是来自自注意力模型的输出。在高层次上，它基于编码器对源句子上下文的理解，并以解码器输入的（可能是空的）部分句子作为查询，来预测如何完成句子。这是与自注意力模型的唯一区别；因此，代码非常相似

绘制的模型将如下所示。请注意，此模型有两个输入，一个用于context，另一个用于来自自注意力的输入。

键维度=128的交叉注意力架构

最后，编码器和解码器都有前馈模型。它在Keras中实现为Dense层

绘制的模型将如下所示。请注意，第一个Dense层使用ReLU激活，第二个没有激活。然后附加一个Dropout层用于正则化。

前馈子模型

您的任务

运行以上代码并验证您看到的模型图相同。匹配布局非常重要，因为最终的Transformer模型取决于它们。

在上面的代码中，使用了Keras函数式API。在Keras中，您可以使用顺序API、函数式API或子类化Model类来构建模型。也可以在这里使用子类化，但顺序API不能。您能解释一下原因吗？

在下一课中，您将利用这些构建块来创建编码器和解码器。

第 07 课：Transformer 编码器和解码器

再次查看Lesson 05中的Transformer图。您会发现编码器是连接到前馈子模型的自注意力子模型。另一方面，解码器是按顺序连接的自注意力子模型、交叉注意力子模型和前馈子模型。

因此，一旦有了这些构建块，创建编码器和解码器就不难了。首先，您有编码器。它足够简单，您可以使用Keras顺序API来构建一个编码器模型。

Plotting the model would see that it is simple as the following

Encoder submodel

The decoder is a bit complicated because the cross-attention block takes input from the encoder as well; hence it is a model that takes two input. It is implemented as follows

The model will look like the following

Decoder submodel

您的任务

Copy over the three building block functions from Lesson 06 and run the above code to make sure you see the same layout as shown, in both the encoder and decoder.

In the next lesson, you will complete the transformer model with the building block you have created so far.

第 08 课：构建 Transformer

Indeed, a transformer has encoder and decoder parts, and each part is not one but a series of encoders or decoders. It sounds complicated but not if you have the building block submodels to hide the details.

Refer to the figure in Lesson 05, and you see the encoder and decoder parts are just a chain of encoder and decoder blocks. Only the output of the final encoder block is used as input to the decoder blocks.

Therefore, the complete transformer model can be built as follows

The try–except block in the code is to handle a bug in certain versions of TensorFlow that may cause the training error calculated erroneously. The model plotted above would be like the following. Not very simple, but the architecture is still tractable.

Transformer with 4 layers in encoder and 4 layers in decoder

您的任务

Copy over the three building block functions from Lessons 05, 06, and 07, so you can run the above code and generate the same diagram. You will reuse this model in the subsequent lessons.

In the next lesson, you will set up the other training parameters for this model.

Lesson 09: Prepare the Transformer Model for Training

Before you can train your transformer, you need to decide how you should train it.

According to the paper Attention Is All You Need, you are using Adam as the optimizer but with a custom learning rate schedule,

$$\text{LR} = \frac{1}{\sqrt{d_{\text{model}}}} \min\big(\frac{1}{\sqrt{n}}, \frac{n}{\sqrt{m^3}}\big)$$

It is implemented as follows

The learning rate schedule is designed in such a way that it learns slowly at the beginning but accelerates as it learns. This helps because the model is totally random at the beginning, and you cannot even trust the output much. But as you train the model enough, the result should be sufficiently sensible and thus you can learn faster to help convergence. The learning rate as plotted would look like the following

Customized learning rate schedule

Next, you also need to define the loss metric and accuracy metric for training. This model is special because you need to apply a mask to the output to calculate the loss and accuracy only on the non-padding elements. Borrow the implementation from TensorFlow’s tutorial Neural machine translation with a Transformer and Keras

有了这些，您现在可以按以下方式**编译**您的 Keras 模型

您的任务

如果您正确实现了所有内容，您应该能够提供所有构建块函数以使上述代码运行。尝试将您到目前为止所做的一切保存在一个 Python 脚本或一个 Jupyter notebook 中，并运行一次以确保没有错误生成，没有异常被引发。

如果一切顺利运行，您应该会看到上面的 `summary()` 打印出以下内容

此外，当您查看 transformer 模型的图以及这里的实现时，您应该会注意到图显示输出层有一个 softmax 层，但我们省略了它。Softmax 确实是在本课程中添加的。您看到它在哪里了吗？

在下一课中，您将训练这个编译好的模型，其拥有 1400 万个参数，正如我们在上面的摘要中所看到的。

第 10 课：训练 Transformer

训练 transformer 取决于您在前几课中所做的一切。最重要的是，Lesson 03 的 vectorizer 和数据集必须保存，因为它们将在本课和接下来的课程中重新使用。