如今的大型语言模型是 Transformer 模型的一种简化形式。它们被称为“仅解码器”（decoder-only）模型，因为它们的作用类似于 Transformer 的解码器部分，即在给定部分序列作为输入的情况下生成输出序列。从架构上看，它们更接近 Transformer 模型的编码器部分。在这篇文章中[…]
作者归档 | Adrian Tam
构建用于语言翻译的 Transformer 模型
2017年推出的 Transformer 架构彻底改变了语言翻译等序列到序列（sequence-to-sequence）任务，因为它不再需要循环神经网络。相反，它依靠自注意力机制来处理输入序列。在本文中，您将学习如何从零开始构建一个 Transformer 模型。具体来说，您将了解：自注意力机制如何处理输入序列，Transformer 如何 […]
构建带注意力机制的 Seq2Seq 模型用于语言翻译
由 Bahdanau 等人于2014年引入的注意力机制，显著改进了序列到序列（seq2seq）模型。在本文中，您将学习如何构建和训练一个带有注意力机制的 seq2seq 模型用于语言翻译，重点关注：为什么注意力机制至关重要，如何在 seq2seq 模型中实现注意力机制。让我们开始吧。概述 本文 […]
构建一个用于语言翻译的普通 Seq2Seq 模型
序列到序列（seq2seq）模型是一种强大的架构，适用于将一个序列转换为另一个序列的任务，例如机器翻译。这些模型采用编码器-解码器架构，其中编码器处理输入序列，解码器根据编码器的输出生成输出序列。注意力机制是为 seq2seq 模型开发的，理解 seq2seq 模型如何 […]
Transformer 模型中的跳跃连接
Transformer 模型由堆叠的 Transformer 层组成，每层包含一个注意力子层和一个前馈子层。这些子层不是直接连接的；相反，残差连接（skip connections）将每个子层的输入与处理后的输出结合起来。在本文中，您将探讨 Transformer 模型中的残差连接。具体包括：为什么残差连接对于训练深度 […] 至关重要
Transformer 模型中的混合专家（Mixture of Experts）架构
Transformer 模型已被证明在许多自然语言处理（NLP）任务中非常有效。虽然通过增加维度和层数可以增强其能力，但这也会显著增加计算复杂性。混合专家（MoE）架构通过引入稀疏性提供了一种优雅的解决方案，使模型能够高效扩展，而计算成本不会成比例增加。在本文中，您将 […]
Transformer 模型中的线性层和激活函数
注意力操作是 Transformer 模型的标志，但它们并非唯一的构建模块。线性层和激活函数同样至关重要。在本文中，您将学习：为什么线性层和激活函数能够实现非线性变换，Transformer 模型中前馈网络的典型设计，常见的激活函数及其特点 […]
Transformer 模型中的 LayerNorm 和 RMS Norm
归一化层是 Transformer 模型中帮助稳定训练的关键组件。没有归一化，模型通常会无法收敛或表现不佳。本文探讨了 LayerNorm、RMS Norm 及其变体，解释了它们的工作原理以及在现代语言模型中的实现。让我们开始吧。概述 本文分为五个部分，它们是： […]
Transformer 模型中注意力掩码（Attention Masking）的简明介绍
Transformer 模型中的注意力机制需要处理各种约束，以防止模型关注某些位置。本文探讨了注意力掩码（attention masking）如何实现这些约束，以及它们在现代语言模型中的实现。让我们开始吧。概述 本文分为四个部分，它们是：为什么需要注意力掩码，注意力掩码的实现 […]
多头潜在注意力（Multi-Head Latent Attention, MLA）简明介绍
并非所有 Transformer 模型都称为“大型语言模型”，因为您可以使用 Transformer 架构构建一个非常小的模型。真正大型的 Transformer 模型通常不适合在家中使用，因为它们太大，无法装入单台计算机，而且没有 GPU 集群运行起来会非常慢。最近的 […]