我们已经熟悉了 Transformer 注意机制在神经机器翻译中实现的自注意力概念。现在，我们将重点转移到 Transformer 架构本身的细节上，以发现如何在不依赖循环和卷积的情况下实现自注意力。在本教程中， […]
标签 Archives | 注意
Transformer 注意力机制
在 Transformer 模型引入之前，注意机制在神经机器翻译中的应用是通过基于 RNN 的编码器-解码器架构实现的。Transformer 模型通过摒弃循环和卷积，转而仅依赖于自注意力机制，革新了注意机制的实现方式。在本教程中，我们将首先关注 Transformer 注意机制 […]
Luong 注意力机制
Luong 注意机制旨在对 Bahdanau 模型在神经机器翻译方面的性能进行多项改进，特别是引入了两种新的注意力机制：一种全局方法，关注所有源单词；一种局部方法，在预测目标句子时仅关注选定的单词子集。在本教程中，[…]
Bahdanau 注意力机制
传统的机器翻译编码器-解码器架构将每个源句子编码成一个固定长度的向量，无论其长度如何，解码器随后会从中生成翻译。这使得神经网络难以处理长句子，基本上导致了性能瓶颈。Bahdanau 注意机制被提出用于解决性能 […]
基于注意力的架构巡览
随着注意力在机器学习中的流行度不断增长，结合注意力机制的神经网络架构列表也在不断增加。在本教程中，您将发现已与注意力机制结合使用的重要神经网络架构。完成本教程后，您将更好地理解注意力机制是如何融入不同的 […]
从零开始的注意力机制
引入注意力机制是为了提高编码器-解码器模型在机器翻译方面的性能。注意力机制背后的思想是通过对所有编码的输入向量进行加权组合，使解码器能够以灵活的方式利用输入序列中最相关部分，其中最相关的 […]
什么是注意力？
注意力在机器学习中的受欢迎程度日益提高，但是什么让它如此吸引人？在人工神经网络中应用的注意力与其生物学对应物之间有什么关系？在机器学习中，一个注意力驱动的系统会包含哪些组件？在本教程中，您将发现注意力的概述，以及 […]
注意力研究概览
注意力是一个在多个学科（包括心理学、神经科学以及最近的机器学习）中进行科学研究的概念。虽然所有学科都可能对注意力产生了各自的定义，但它们都能认同的一个核心特质是，注意力是一种使生物和人工神经网络系统更具灵活性的机制。在 […]