Transformer 模型

我们已经熟悉了Transformer注意力机制在神经机器翻译中实现的自注意力概念。现在我们将把重点转移到Transformer架构本身的细节，以发现如何在不依赖循环和卷积的情况下实现自注意力。

在本教程中，您将了解Transformer模型的网络架构。

完成本教程后，您将了解：

• Transformer 架构如何在没有循环和卷积的情况下实现编码器-解码器结构 
• Transformer 编码器和解码器如何工作 
• Transformer 自注意力与循环层和卷积层的使用比较 

通过我的书《使用注意力构建 Transformer 模型》来启动您的项目。它提供了自学教程和可运行代码，指导您构建一个功能完备的 Transformer 模型，该模型可以
将句子从一种语言翻译成另一种语言的完整 Transformer 模型...

让我们开始吧。 

Transformer 模型
照片由 Samule Sun 拍摄，保留部分权利。

教程概述

本教程分为三个部分；它们是：

• Transformer 架构
  • 编码器
  • 解码器
• 总结：Transformer 模型
• 与循环层和卷积层的比较

先决条件

本教程假设您已熟悉以下内容：

• 注意力的概念
• 注意力机制
• Transformer 注意力机制

Transformer 架构

Transformer 架构遵循编码器-解码器结构，但不依赖循环和卷积来生成输出。 

Transformer 架构的编码器-解码器结构
摘自“Attention Is All You Need”

简而言之，Transformer 架构左半部分的编码器任务是将输入序列映射到一系列连续表示，然后将其输入到解码器。 

架构右半部分的解码器接收编码器的输出以及前一个时间步的解码器输出以生成输出序列。

在每个步骤中，模型都是自回归的，在生成下一个符号时，将先前生成的符号作为附加输入进行消费。

—— 《Attention Is All You Need》，2017。

编码器

Transformer 架构的编码器块
摘自“Attention Is All You Need”

编码器由 $N$ = 6 个相同的层堆叠而成，每个层由两个子层组成

1. 第一个子层实现多头自注意力机制。您已经看到多头机制实现了 $h$ 个头，这些头接收查询、键和值的（不同）线性投影版本，每个头并行生成 $h$ 个输出，然后用于生成最终结果。 

2. 第二个子层是一个全连接的前馈网络，由两个线性变换组成，中间带有 ReLU（修正线性单元）激活函数。

$$\text{FFN}(x) = \text{ReLU}(\mathbf{W}_1 x + b_1) \mathbf{W}_2 + b_2$$

Transformer 编码器的六个层对输入序列中的所有单词应用相同的线性变换，但*每个*层都采用不同的权重 ($\mathbf{W}_1, \mathbf{W}_2$) 和偏置 ($b_1, b_2$) 参数来完成此操作。 

此外，这两个子层都包含一个残差连接。

每个子层后面还有一个归一化层 $\text{layernorm}(.) $，它归一化了子层输入 $x$ 和子层本身生成的输出 $\text{sublayer}(x)$ 之间的和。

$$\text{layernorm}(x + \text{sublayer}(x))$$

一个需要牢记的重要考虑因素是，Transformer 架构由于不使用循环，因此无法固有地捕获序列中单词相对位置的任何信息。此信息必须通过向输入嵌入引入*位置编码*来注入。 

位置编码向量与输入嵌入具有相同的维度，并使用不同频率的正弦和余弦函数生成。然后，它们简单地与输入嵌入求和，以*注入*位置信息。

解码器 

Transformer 架构的解码器块
摘自“Attention Is All You Need”

解码器与编码器有几个相似之处。 

解码器也由 $N$ = 6 个相同的层堆叠而成，每个层由三个子层组成

1. 第一个子层接收解码器堆栈的先前输出，用位置信息增强它，并在其上实现多头自注意力。虽然编码器被设计为*无论*单词在序列中的位置如何，都关注输入序列中的所有单词，但解码器被修改为*只*关注前面的单词。因此，对位置 $i$ 的单词的预测只能依赖于序列中在该单词之前出现的已知输出。 在多头注意力机制（并行实现多个单一注意力函数）中，这是通过在矩阵 $\mathbf{Q}$ 和 $\mathbf{K}$ 的标量乘法产生的值上引入一个掩码来实现的。这种掩码通过抑制否则将对应于非法连接的矩阵值来实现

$$
\text{mask}(\mathbf{QK}^T) =
\text{mask} \left( \begin{bmatrix}
e_{11} & e_{12} & \dots & e_{1n} \\
e_{21} & e_{22} & \dots & e_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
e_{m1} & e_{m2} & \dots & e_{mn} \\
\end{bmatrix} \right) =
\begin{bmatrix}
e_{11} & -\infty & \dots & -\infty \\
e_{21} & e_{22} & \dots & -\infty \\
\vdots & \vdots & \ddots & \vdots \\
e_{m1} & e_{m2} & \dots & e_{mn} \\
\end{bmatrix}
$$

解码器中的多头注意力实现了多个被掩码的单注意力函数
摘自“Attention Is All You Need”

遮蔽使得解码器是单向的（与双向编码器不同）。

——  《Python 高级深度学习》，2019 年。

2. 第二层实现了一个多头自注意力机制，类似于编码器第一个子层中实现的机制。 在解码器侧，这个多头机制接收来自前一个解码器子层的查询，以及来自编码器输出的键和值。这允许解码器关注输入序列中的所有单词。

3. 第三层实现了一个全连接的前馈网络，类似于编码器第二个子层中实现的网络。

此外，解码器侧的三个子层也都有残差连接，并且后面跟着一个归一化层。

位置编码也以与之前为编码器解释的相同方式添加到解码器的输入嵌入中。 

总结：Transformer 模型

Transformer 模型的运行方式如下

1. 组成输入序列的每个单词都被转换为 $d_{\text{model}}$ 维嵌入向量。 

2. 表示输入单词的每个嵌入向量通过将其（逐元素）与相同 $d_{\text{model}}$ 长度的位置编码向量求和来增强，从而将位置信息引入输入。 

3. 增强后的嵌入向量被输入到由上述两个子层组成的编码器块中。由于编码器关注输入序列中的所有单词，无论它们是在所考虑单词之前还是之后，因此 Transformer 编码器是*双向的*。 

4. 解码器在时间步 $t-1$ 接收其自身的预测输出词作为输入。

5. 解码器的输入也以与编码器侧相同的方式通过位置编码进行增强。 

6. 增强后的解码器输入被输入到由上述解码器块组成的三个子层中。第一个子层应用掩码以阻止解码器关注后续单词。在第二个子层，解码器还接收编码器的输出，这使得解码器现在可以关注输入序列中的所有单词。

7. 解码器的输出最终通过一个全连接层，然后是一个 softmax 层，以生成输出序列中下一个单词的预测。 

与循环层和卷积层的比较

Vaswani 等人（2017）解释说，他们放弃使用循环和卷积的动机基于几个因素

1. 自注意力层在较短序列长度下比循环层更快，并且在非常长的序列长度下可以限制为仅考虑输入序列中的一个邻域。 

2. 循环层所需的顺序操作数量取决于序列长度，而自注意力层的这个数量保持不变。 

3. 在卷积神经网络中，核宽度直接影响输入和输出位置对之间建立的长期依赖关系。跟踪长期依赖关系需要使用大核或堆叠卷积层，这可能会增加计算成本。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

书籍

• 使用 Python 进行高级深度学习, 2019.

论文

• 注意力就是你所需要的一切, 2017.

总结

在本教程中，您了解了 Transformer 模型的网络架构。

具体来说，你学到了：

• Transformer 架构如何在没有循环和卷积的情况下实现编码器-解码器结构
• Transformer 编码器和解码器如何工作
• Transformer 自注意力与循环层和卷积层的比较

你有什么问题吗？
在下面的评论中提出您的问题，我将尽力回答。

学习 Transformer 和注意力！

教您的深度学习模型阅读句子

...使用带有注意力的 Transformer 模型

在我的新电子书中探索如何实现
使用注意力机制构建 Transformer 模型

它提供了自学教程和可运行代码，指导您构建一个可以
将句子从一种语言翻译成另一种语言的完整 Transformer 模型...

为理解人类语言提供神奇力量
您的项目

查看内容