在了解了如何实现缩放点积注意力并将它集成到 Transformer 模型的多头注意力中之后，让我们通过应用其编码器，向实现完整的 Transformer 模型再迈进一步。我们的最终目标仍然是将完整的模型应用于自然语言处理 (NLP)。在本教程中，您将发现如何 […]
Vision Transformer 模型
随着 Transformer 架构革新了注意力的实现方式，并在自然语言处理领域取得了非常有希望的结果，它在计算机视觉领域的应用也只是时间问题。这最终随着 Vision Transformer (ViT) 的实现而实现。在本教程中，您 […]
如何在 TensorFlow 和 Keras 中从零开始实现多头注意力
我们已经熟悉了 Transformer 模型及其注意力机制背后的理论。通过了解如何实现缩放点积注意力，我们已经开始了实现完整模型之旅。我们将通过将缩放点积注意力封装到多头 […] 中，进一步推进我们的旅程。
如何在 TensorFlow 和 Keras 中从零开始实现缩放点积注意力
在熟悉了 Transformer 模型及其注意力机制背后的理论后，我们将开始实现完整的 Transformer 模型之旅，首先了解如何实现缩放点积注意力。缩放点积注意力是多头注意力的一个组成部分，而多头注意力又是两者都重要的组成部分 […]
Keras 中的 Transformer 位置编码层，第 2 部分
在第一部分“Transformer 模型中的位置编码简介”中，我们讨论了 Transformer 模型的位置编码层。我们还展示了如何在 Python 中自己实现该层及其功能。在本教程中，您将在 Keras 和 Tensorflow 中实现位置编码层。然后，您可以使用这个 […]
Scale AI 的 TransformX 活动将于 10 月 19-21 日举行：免费注册！
赞助帖子 ???? 一年一度的 AI 事件即将到来……我们说的是 TransformX，一个免费的虚拟会议，您将听到来自 Google、Meta、OpenAI、DeepMind、Amazon 等公司的 120 多位技术领导者的演讲。探索 AI 将如何驱动电子商务、医疗保健的 AI 应用、NFT 市场等。???? 演讲者 […]
Transformer 模型中位置编码的温和介绍，第 1 部分
在语言中，词语的顺序和它们在句子中的位置非常重要。如果词语重排，整个句子的意思可能会发生变化。在实现 NLP 解决方案时，循环神经网络具有处理序列顺序的内置机制。然而，Transformer 模型不使用循环或 […]
Transformer 模型
我们已经熟悉了 Transformer 注意力机制为神经机器翻译实现的自注意力概念。现在，我们将重点转移到 Transformer 架构本身的细节上，探索如何在不依赖循环和卷积的情况下实现自注意力。在本教程中 […]
Transformer 注意力机制
在 Transformer 模型引入之前，用于神经机器翻译的注意力是通过基于 RNN 的编码器-解码器架构实现的。Transformer 模型通过摒弃循环和卷积，转而仅依赖自注意力机制，革新了注意力的实现方式。在本教程中，我们将首先关注 Transformer 注意力机制 […]
理解 Keras 中的简单循环神经网络
本教程面向任何希望了解循环神经网络 (RNN) 如何工作以及如何通过 Keras 深度学习库使用它们的人。虽然 Keras 库提供了解决问题和构建应用程序所需的所有方法，但深入了解其工作原理也很重要。 […]