随着 Transformer 架构革新了注意力机制的实现，并在自然语言处理领域取得了非常有希望的结果，它必然会在计算机视觉领域得到应用。这最终通过 Vision Transformer (ViT) 的实现而实现。在本教程中，您 [...]
作者归档 | Stefania Cristina
如何在 TensorFlow 和 Keras 中从零开始实现多头注意力
我们已经熟悉了 Transformer 模型及其注意力机制背后的理论。我们已经开始实现一个完整的模型，了解了如何实现缩放点积注意力。现在，我们将通过将缩放点积注意力封装到一个多头 [...] 中来进一步推进我们的旅程。
如何在 TensorFlow 和 Keras 中从零开始实现缩放点积注意力
在熟悉了 Transformer 模型及其注意力机制背后的理论之后，我们将通过首先了解如何实现缩放点积注意力来开始构建一个完整的 Transformer 模型。缩放点积注意力是多头注意力的组成部分，而多头注意力又是 [...] 的重要组成部分。
Transformer 模型
我们已经熟悉了 Transformer 注意力机制在神经机器翻译中实现的自注意力概念。现在，我们将把重点转移到 Transformer 架构本身的细节上，以发现如何在不依赖循环和卷积的情况下实现自注意力。在本教程中， [...]
Transformer 注意力机制
在 Transformer 模型引入之前，注意力机制在神经机器翻译中的应用是通过基于 RNN 的编码器-解码器架构实现的。Transformer 模型通过放弃循环和卷积，转而仅依赖自注意力机制，革新了注意力机制的实现。在本教程中，我们将首先关注 Transformer 注意力机制 [...]
Luong 注意力机制
Luong 注意力模型试图在 Bahdanau 模型的基础上对神经机器翻译进行一些改进，特别是引入了两种新的注意力机制：一种全局方法，它关注所有源词；一种局部方法，它在预测目标句子时仅关注选定的词子集。在本教程中，[...]
Bahdanau 注意力机制
传统的用于机器翻译的编码器-解码器架构将每个源句子编码成一个固定长度的向量，而不考虑其长度，然后解码器会从中生成翻译。这使得神经网络难以处理长句子，实际上导致了性能瓶颈。Bahdanau 注意力旨在解决性能 [...]
基于注意力的架构巡览
随着注意力机制在机器学习中的流行度不断增长，采用注意力机制的神经网络架构列表也在不断增加。在本教程中，您将发现与注意力机制结合使用的显着神经网络架构。完成本教程后，您将更好地理解注意力机制如何融入不同的 [...]
从零开始的注意力机制
注意力机制的引入是为了提高编码器-解码器模型在机器翻译中的性能。注意力机制背后的思想是通过对所有编码的输入向量进行加权组合，并以最相关 [...] 的方式，使解码器能够利用输入序列中最相关的部分。
什么是注意力？
注意力机制在机器学习中变得越来越受欢迎，但是什么让它成为一个如此吸引人的概念？在人工神经网络中应用的注意力与其生物学对应物之间有什么关系？一个基于注意力的机器学习系统应该包含哪些组成部分？在本教程中，您将发现注意力的概述和 [...]