我们已经熟悉了 Transformer 注意力机制在神经机器翻译中实现的自注意力概念。现在，我们将重点转移到 Transformer 架构本身的细节上，以发现如何在不依赖递归和卷积的情况下实现自注意力。在本教程中，[...]
标签存档 | transformer
Transformer 注意力机制
在 Transformer 模型出现之前，注意力机制在神经机器翻译中的应用是通过基于 RNN 的编码器-解码器架构实现的。Transformer 模型通过摒弃递归和卷积，转而仅依赖自注意力机制，彻底改变了注意力机制的实现方式。在本教程中，我们将首先关注 Transformer 注意力机制 [...]
基于注意力的架构巡览
随着注意力机制在机器学习领域的普及，集成注意力机制的神经网络架构列表也在不断增长。在本教程中，您将发现与注意力机制结合使用的重要神经网络架构。完成本教程后，您将更好地理解注意力机制是如何融入不同的 [...]
注意力研究概览
注意力是一个在多个学科（包括心理学、神经科学和最近的机器学习）中得到科学研究的概念。尽管所有学科都可能对注意力有自己的定义，但它们都能达成一个核心共识，即注意力是一种使生物和人工智能神经网络系统更具灵活性的机制。在 [...]