在 Transformer 模型出现之前，注意力机制在神经机器翻译中的应用是通过基于 RNN 的编码器-解码器架构实现的。Transformer 模型通过摒弃循环和卷积，而是完全依赖于自注意力机制，彻底革新了注意力的实现方式。在本教程中，我们将首先关注 Transformer 的注意力机制 [...]
标签存档 | 缩放点积注意力
在 Transformer 模型出现之前，注意力机制在神经机器翻译中的应用是通过基于 RNN 的编码器-解码器架构实现的。Transformer 模型通过摒弃循环和卷积，而是完全依赖于自注意力机制，彻底革新了注意力的实现方式。在本教程中，我们将首先关注 Transformer 的注意力机制 [...]