如何为神经机器翻译配置编码器-解码器模型

循环神经网络的编码器-解码器架构在标准机器翻译基准测试中取得了最先进的成果，并被用于工业翻译服务的核心。

该模型很简单，但鉴于训练它需要大量数据，在模型中调整无数的设计决策以在您的问题上获得最佳性能实际上可能难以实现。值得庆幸的是，研究科学家们已经使用Google规模的硬件为我们完成了这项工作，并提供了一套启发式方法，用于如何配置编码器-解码器模型以实现神经机器翻译以及一般的序列预测。

在这篇文章中，您将了解如何最好地配置用于神经机器翻译和其他自然语言处理任务的编码器-解码器循环神经网络的详细信息。

阅读本文后，你将了解：

• Google 研究调查了编码器-解码器模型中的每个模型设计决策，以分离它们的影响。
• 有关词嵌入、编码器和解码器深度以及注意力机制等设计决策的结果和建议。
• 一组可以作为您自己的序列到序列项目的起点的基本模型设计决策。

通过我的新书《自然语言处理深度学习》启动您的项目，其中包括分步教程和所有示例的 Python 源代码文件。

让我们开始吧。

如何为神经机器翻译配置编码器-解码器模型
图片由 Sporting Park 提供，部分权利保留。

用于神经机器翻译的编码器-解码器模型

循环神经网络的编码器-解码器架构正在取代传统的基于短语的统计机器翻译系统，以实现最先进的成果。

证据是，在他们2016年的论文《Google的神经机器翻译系统：弥合人机翻译之间的差距》中，Google现在在他们的Google Translate服务的核心中使用了这种方法。

这种架构的一个问题是模型很大，反过来需要非常大的数据集进行训练。这导致模型训练需要几天或几周，并且需要通常非常昂贵的计算资源。因此，关于不同设计选择对模型及其对模型技能的影响的研究很少。

这个问题由 Denny Britz 等人在他们2017年的论文《神经机器翻译架构的大规模探索》中明确解决。在论文中，他们为标准的英语到德语翻译任务设计了一个基线模型，并列举了一系列不同的模型设计选择，并描述了它们对模型技能的影响。他们声称完整的实验消耗了超过250,000个GPU计算小时，这至少可以说令人印象深刻。

我们报告了数百次实验运行的经验结果和方差数字，对应于标准WMT英德翻译任务上超过250,000个GPU小时。我们的实验为构建和扩展NMT架构提供了新的见解和实用建议。

在这篇文章中，我们将研究这篇论文中的一些发现，我们可以用它们来调整我们自己的神经机器翻译模型，以及一般的序列到序列模型。

有关编码器-解码器架构和注意力机制的更多背景信息，请参阅以下帖子：

• 编码器-解码器长短期记忆网络
• 长短期记忆循环神经网络中的注意力机制

基线模型

我们可以首先描述用作所有实验起点的基线模型。

选择了一个基线模型配置，使模型在翻译任务上表现良好。

• 嵌入：512维
• RNN 单元：门控循环单元（GRU）
• 编码器：双向
• 编码器深度：2层（每个方向1层）
• 解码器深度：2层
• 注意力：Bahdanau风格
• 优化器：Adam
• Dropout：输入层20%

每个实验都从基线模型开始，并改变一个元素，以试图隔离设计决策对模型技能（在本例中为BLEU分数）的影响。

用于神经机器翻译的编码器-解码器架构
取自“大规模探索神经机器翻译架构”。

嵌入尺寸

词嵌入用于表示输入到编码器的词语。

这是一种分布式表示，其中每个单词被映射到一个固定大小的连续值向量。这种方法的优点是具有相似含义的不同单词将具有相似的表示。

这种分布式表示通常在模型拟合训练数据时学习。嵌入大小定义了用于表示单词的向量的长度。通常认为，更高的维度将导致更具表现力的表示，进而带来更好的技能。

有趣的是，结果表明，测试的最大尺寸确实取得了最好的结果，但增加尺寸的好处总体上是微小的。

[结果显示]2048维嵌入整体表现最佳，但优势不大。即使是小型128维嵌入也表现出惊人的良好，并且收敛速度几乎快了一倍。

建议：从较小的嵌入开始，例如128，以后可以增加大小以获得微小的技能提升。

RNN单元类型

通常有三种常用类型的循环神经网络单元：

• 简单RNN。
• 长短期记忆（LSTM）。
• 门控循环单元（GRU）。

LSTM 的开发是为了解决简单 RNN 的梯度消失问题，该问题限制了深度 RNN 的训练。GRU 的开发是为了简化 LSTM。

结果表明，GRU和LSTM都明显优于简单RNN，但LSTM总体上表现更好。

在我们的实验中，LSTM 单元始终优于 GRU 单元

建议：在您的模型中使用 LSTM RNN 单元。

编码器-解码器深度

一般来说，更深的网络被认为比浅层网络能取得更好的性能。

关键在于在网络深度、模型技能和训练时间之间找到平衡。这是因为如果技能提升微小，我们通常没有无限资源来训练非常深的网络。

作者探讨了编码器和解码器模型的深度以及对模型技能的影响。

对于编码器，发现深度对技能没有显著影响，更令人惊讶的是，1层单向模型的性能仅比4层单向配置略差。2层双向编码器比其他测试配置略好。

我们没有发现明确的证据表明编码器深度超过两层是必要的。

建议：使用1层双向编码器，并扩展到2层双向以获得较小的技能提升。

解码器的情况也类似。1层、2层和4层解码器之间的技能差异很小，其中4层解码器略好。8层解码器在测试条件下未能收敛。

在解码器方面，更深的模型略优于较浅的模型。

建议：从1层解码器开始，并使用4层解码器以获得更好的结果。

编码器输入的方向

源文本序列的顺序可以通过多种方式提供给编码器：

• 正向或正常顺序。
• 反向。
• 同时正向和反向。

作者探讨了输入序列顺序对模型技能的影响，比较了各种单向和双向配置。

通常，他们证实了先前的发现，即反向序列优于正向序列，并且双向略优于反向序列。

...双向编码器通常优于单向编码器，但优势不大。反向源编码器始终优于非反向编码器。

建议：使用反向输入序列，或转为双向以获得模型技能的小幅提升。

注意力机制

朴素的编码器-解码器模型存在一个问题，即编码器将输入映射到一个固定长度的内部表示，解码器必须从该表示中生成整个输出序列。

注意力是对模型的一种改进，它允许解码器在输出序列中的每个单词时“关注”输入序列中的不同单词。

作者研究了简单注意力机制的几种变体。结果表明，使用注意力比不使用注意力能够显著提高性能。

虽然我们确实期望基于注意力的模型能够显著优于没有注意力机制的模型，但我们对 [无注意力] 模型表现如此之差感到惊讶。

Bahdanau 等人在其 2015 年论文《通过联合学习对齐和翻译的神经机器翻译》中描述的简单加权平均风格的注意力被发现表现最佳。

建议：使用注意力机制，并优先选择 Bahdanau 风格的加权平均注意力。

推理

在神经机器翻译系统中，通常使用束搜索来对模型输出序列中单词的概率进行采样。

束宽度越宽，搜索越穷尽，并且人们认为结果越好。

结果表明，适度的束宽3-5表现最佳，通过使用长度惩罚只能略微改善。作者普遍建议针对每个具体问题调整束宽。

我们发现，经过良好调优的束搜索对于取得良好结果至关重要，并且它能带来超过一个 BLEU 分数的持续提升。

建议：从贪婪搜索（beam=1）开始，并根据您的问题进行调整。

最终模型

作者将他们的发现整合到一个“最佳模型”中，并将该模型的结果与其他表现良好的模型和最先进的结果进行比较。

该模型的具体配置总结在下表中，摘自论文。在为NLP应用程序开发您自己的编码器-解码器模型时，这些参数可以作为良好或最佳的起点。

最终NMT模型的模型配置总结
取自“大规模探索神经机器翻译架构”。

该系统的结果令人印象深刻，并以一个更简单的模型实现了接近最先进水平的技能，这并非本文的目标。

…我们确实表明，通过仔细的超参数调整和良好的初始化，有可能在标准WMT基准测试上实现最先进的性能。

重要的是，作者将他们的所有代码作为开源项目 tf-seq2seq 提供。由于其中两位作者是 Google Brain 住院项目成员，他们的工作在 Google Research 博客上宣布，标题为“介绍 tf-seq2seq：TensorFlow 中的开源序列到序列框架”，2017 年。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

• 神经机器翻译架构的大规模探索, 2017.
• 丹尼·布里茨主页
• WildML 博客
• 推出 tf-seq2seq：TensorFlow 中的开源序列到序列框架, 2017.
• tf-seq2seq：一个用于Tensorflow的通用编码器-解码器框架
• tf-seq2seq 项目文档
• tf-seq2seq 教程：神经机器翻译背景
• 通过联合学习对齐和翻译的神经机器翻译, 2015.

总结

在这篇文章中，您了解了如何最佳配置用于神经机器翻译和其他自然语言处理任务的编码器-解码器循环神经网络。

具体来说，你学到了：

• Google 研究调查了编码器-解码器模型中的每个模型设计决策，以分离它们的影响。
• 有关词嵌入、编码器和解码器深度以及注意力机制等设计决策的结果和建议。
• 一组可以作为您自己的序列到序列项目的起点的基本模型设计决策。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发文本数据的深度学习模型！

在几分钟内开发您自己的文本模型

...只需几行python代码

在我的新电子书中探索如何实现
用于自然语言处理的深度学习

它提供关于以下主题的自学教程：
词袋模型、词嵌入、语言模型、标题生成、文本翻译等等...

最终将深度学习应用于您的自然语言处理项目

跳过学术理论。只看结果。

查看内容