标签档案 | 多头注意力

在 Transformer 模型引入之前，注意力机制在神经机器翻译中的应用是通过基于 RNN 的编码器-解码器架构实现的。Transformer 模型彻底改变了注意力的实现方式，它摒弃了循环和卷积，转而完全依赖于自注意力机制。在本教程中，我们将首先关注 Transformer 的注意力机制 […]