使用编码器-解码器 LSTM 循环神经网络学习加法

长短期记忆（LSTM）网络是一种循环神经网络（RNN）类型，它能够学习输入序列中元素之间的关系。

LSTM 的一个很好的演示是学习如何使用像加法这样的数学运算来组合多个项，并输出计算结果。

初学者经常犯的一个错误是仅仅学习从输入项到输出项的映射函数。在解决此类问题时，LSTM 的一个很好的演示是学习字符的序列输入（“50+11”）并以字符（“61”）预测序列输出。使用序列到序列（seq2seq）或堆叠 LSTM 配置，LSTM 可以学习这个难题。

在本教程中，您将了解如何使用 LSTM 来解决随机生成整数序列的加法问题。

完成本教程后，您将了解：

• 如何学习输入项到输出项的朴素映射函数以进行加法。
• 如何构建加法问题（及类似问题）并对输入和输出进行适当编码。
• 如何使用 seq2seq 范式解决真正的序列预测加法问题。

开始您的项目，阅读我的新书 《Python 中的长短期记忆网络》，其中包含分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 更新于 2018 年 8 月：修正了模型配置描述中的拼写错误。

如何使用 seq2seq 循环神经网络学习加法
摄影：Lima Pix，部分权利保留。

教程概述

本教程分为3个部分；它们是

1. 加法
2. 加法作为映射问题（初学者的错误）
3. 加法作为 seq2seq 问题

环境

本教程假定您已安装 SciPy、NumPy、Pandas，并拥有 Python 2 或 Python 3 开发环境。

本教程还假定已安装 scikit-learn 和 Keras v2.0+，并使用 Theano 或 TensorFlow 后端。

如果您在环境设置方面需要帮助，请参阅此帖：

• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境

加法

任务是给定一个随机选择的整数序列，返回这些整数的总和。

例如，给定 10 + 5，模型应输出 15。

模型将使用随机生成的示例进行训练和测试，以便学习通用的加法问题，而不是记住特定情况。

加法作为映射问题
（初学者的错误）

在本节中，我们将逐步解决该问题，并使用 LSTM 解决它，展示初学者很容易犯的错误，即未能利用循环神经网络的强大功能。

数据生成

首先，让我们定义一个函数来生成随机整数序列及其总和作为训练和测试数据。

我们可以使用 randint() 函数在最小值和最大值之间生成随机整数，例如 1 到 100 之间。然后我们可以对序列求和。此过程可以重复固定次数，以创建数字输入序列和匹配的输出总和值的对。

例如，此代码片段将创建 100 个示例，用于将 1 到 100 之间的 2 个数字相加。

运行示例将打印出每个输入-输出对。

一旦我们有了模式，我们就可以将列表转换为 NumPy 数组并重新缩放值。我们必须重新缩放值以适应 LSTM 使用的激活范围。

例如

将所有内容整合在一起，我们可以定义函数random_sum_pairs()，该函数接受指定数量的示例、每个序列中的数字数量以及要生成的最大数字，并返回用于建模的 X、y 数据对。

我们可能希望稍后反转对数字的重缩放。这将有助于将预测与预期值进行比较，并以原始数据的相同单位获得误差分数。

下面的invert()函数反转了传入的预测值和预期值的归一化。

配置 LSTM

现在我们可以定义一个 LSTM 来模拟这个问题。

这是一个相对简单的问题，因此模型不需要很大。输入层将期望 1 个输入特征和 2 个时间步（在加两个数字的情况下）。

定义了两个隐藏 LSTM 层，第一个有 6 个单元，第二个有 2 个单元，然后是一个全连接的输出层，该层返回一个单独的总和值。

使用高效的 ADAM 优化算法来拟合模型，并使用均方误差损失函数，因为网络的输出是实值。

网络将训练 100 个 epoch，每个 epoch 都会生成新的示例，并在每个 batch 结束时执行权重更新。

LSTM 评估

我们评估网络在 100 个新模式上的表现。

这些模式被生成，并为每个模式预测一个总和值。实际和预测的总和值都被重新缩放到原始范围，并计算均方根误差（RMSE）分数，该分数与原始数据的比例相同。最后，列出了约 20 个预期值和预测值作为示例。

最后，列出了 20 个预期值和预测值作为示例。

完整示例

我们可以将所有这些整合在一起。完整的代码示例如下所示。

运行示例会为每个 epoch 打印一些损失信息，最后打印运行的 RMSE 和一些示例输出。

注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能会有所不同。请考虑运行示例几次并比较平均结果。

结果并非完美，但许多示例都得到了正确预测。

初学者的错误

全部完成，对吧？

错误。

我们解决的问题有多个输入，但技术上不是序列预测问题。

事实上，您可以使用多层感知器（MLP）轻松解决它。例如：

注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能会有所不同。请考虑运行示例几次并比较平均结果。

运行示例可以完美地解决问题，并且需要更少的 epoch。

问题在于我们对领域进行了过多编码，使其从序列预测问题转变为函数映射问题。

也就是说，输入的顺序不再重要。我们可以随意打乱它，仍然可以学习这个问题。

MLP 旨在学习映射函数，可以轻松解决学习如何加法的问题。

一方面，这是解决特定加法问题的更好方法，因为模型更简单，结果也更好。另一方面，这是对循环神经网络的糟糕利用。

这是我在网上看到的许多“LSTM 入门”教程中反复出现的初学者错误。

加法作为序列预测问题

还有另一种构建加法的方式，使其成为一个明确的序列预测问题，从而使其更难解决。

我们可以将加法构建为输入和输出字符字符串，让模型弄清楚字符的含义。整个加法问题可以构建为一个字符字符串，例如“12+50”，输出为“62”，或者更具体地说：

• 输入：[‘1’, ‘2’, ‘+’, ‘5’, ‘0’]
• 输出：[‘6’, ‘2’]

模型不仅必须学习字符的整数性质，还必须学习执行数学运算的性质。

请注意，序列现在变得重要了，随机打乱输入会创建一个无意义的序列，无法与输出序列相关联。

另请注意，问题是如何转换为同时具有输入序列和输出序列。这被称为序列到序列预测问题，或 seq2seq 问题。

我们可以保持加法问题的简单性，即两个数字相加，但我们可以看到如何将其扩展到可变数量的项和数学运算，这些可以作为输入提供给模型进行学习和泛化。

请注意，此构建以及本示例的其余部分灵感来自 Keras 项目中的 加法 seq2seq 示例，尽管我从头开始重新开发了它。

数据生成

seq2seq 定义问题的序列数据生成要复杂得多。

我们将把每个部分开发为一个独立的函数，以便您可以进行尝试并了解它们的工作原理。请坚持下去。

第一步是生成随机整数序列及其总和，就像之前一样，但没有归一化。我们可以将其放入一个名为 random_sum_pairs() 的函数中，如下所示。

仅运行此函数会打印出两个介于 1 到 10 之间的随机整数相加的一个示例。

下一步是将整数转换为字符串。输入字符串的格式为“99+99”，输出字符串的格式为“99”。

此函数关键在于对数字进行填充，以确保每个输入和输出序列具有相同的字符数。填充字符应与数据不同，以便模型能够学会忽略它们。在这种情况下，我们使用空格字符进行填充（“ ”），并在字符串左侧进行填充，将信息保留在最右侧。

还有其他填充方法，例如单独填充每个项。尝试一下，看看是否能提高性能。请在下面的评论中报告您的结果。

填充要求我们知道最长序列可能有多长。我们可以通过计算能生成的最大整数的 *log10()* 并取其上限来轻松计算出所需字符数。我们将最大数字加 1，以确保我们期望 3 个字符而不是 2 个字符（例如，当最大数字为 200 时）。然后，我们需要加上相应数量的加号。

对输出序列重复类似的过程，当然不包括加号。

下面的示例添加了 *to_string()* 函数，并演示了它与单个输入/输出配对的用法。

运行此示例后，首先会打印出整数序列及其相应序列的填充字符串表示。

接下来，我们需要将字符串中的每个字符编码为整数值。毕竟，我们必须在神经网络中使用数字，而不是字符。

整数编码将问题转化为一个分类问题，其中输出序列可以被视为具有 11 个可能值的类别输出。这恰好是具有某种序数关系的整数（前 10 个类别值）。

为了执行此编码，我们必须定义字符串编码中可能出现的所有符号的完整字母表，如下所示：

然后，整数编码就变成了一个简单的过程，即构建一个字符到整数偏移的查找表，然后逐个转换每个字符串的每个字符。

下面的示例提供了用于整数编码的 *integer_encode()* 函数，并演示了如何使用它。

运行示例会打印出每个字符串编码模式的整数编码版本。

注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能会有所不同。请考虑运行示例几次并比较平均结果。

我们可以看到，空格字符（“ ”）被编码为 11，三字符（“3”）被编码为 3，依此类推。

下一步是对整数编码序列进行二进制编码。

这包括将每个整数转换为长度与字母表相同的二进制向量，并在特定整数位置标记为 1。

例如，整数 0 代表字符“0”，将被编码为一个 11 元素向量，其中第 0 个位置为 1：[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]。

下面的示例定义了用于二进制编码的 *one_hot_encode()* 函数，并演示了如何使用它。

运行示例会打印出每个整数编码的二进制编码序列。

注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能会有所不同。请考虑运行示例几次并比较平均结果。

我添加了一些新行，以使输入和输出的二进制编码更清晰。

您可以看到，单个求和模式变成了一个包含 5 个二进制编码向量的序列，每个向量包含 11 个元素。输出或和变成了一个包含 2 个二进制编码向量的序列，同样，每个向量包含 11 个元素。

我们可以将所有这些步骤整合到一个名为 *generate_data()* 的函数中，如下所示。

最后，我们需要反转编码，将输出向量转换回数字，以便我们可以将期望的输出整数与预测的整数进行比较。

下面的 *invert()* 函数执行此操作。关键是首先使用 *argmax()* 函数将二进制编码转换回整数，然后使用字母表中整数到字符的反向映射将整数转换回字符。

现在我们有了准备此示例数据所需的一切。

请注意，这些函数是为这篇帖子编写的，我没有编写任何单元测试，也没有用各种输入进行实际测试。如果您发现任何明显的错误，请在下面的评论中告知我。

配置和拟合 seq2seq LSTM 模型

我们现在可以为此问题拟合一个 LSTM 模型。

我们可以将模型看作由两个关键部分组成：编码器和解码器。

首先，输入序列一次一个编码字符地显示给网络。我们需要一个编码层来学习输入序列中各步之间的关系，并发展出对这些关系的内部表示。

网络的输入（对于两个数字的情况）是一系列 5 个编码字符（每个数字 2 个，加上“+”1 个），其中每个向量包含 11 个特征，对应于序列中的每个项可能具有的 11 个字符。

编码器将使用一个具有 100 个单元的单个 LSTM 隐藏层。

解码器必须将输入序列的学习内部表示转换为正确的输出序列。为此，我们将使用一个具有 50 个单元的隐藏层 LSTM，然后是一个输出层。

该问题被定义为需要两个二进制输出向量来表示两个输出字符。我们将使用相同的全连接层（Dense）来输出每个二进制向量。为了使用相同的层两次，我们将它包装在一个 TimeDistributed() 包装层中。

输出全连接层将使用 softmax 激活函数来输出 [0,1] 范围内的值。

不过，有一个问题。

我们必须连接编码器和解码器，但它们不匹配。

也就是说，编码器将为序列中的每个输入向量（共 5 个）生成一个包含 100 个输出的二维矩阵。解码器是一个 LSTM 层，它期望一个 [样本数, 时间步数, 特征数] 的三维输入，以便生成一个包含 2 个时间步（每个时间步包含 11 个特征）的解码序列。

如果您尝试强制将这些部分连接起来，您会收到类似这样的错误：

正如我们所预料的那样。

我们可以使用 RepeatVector 层来解决这个问题。此层只是将提供的二维输入重复 n 次以创建三维输出。

RepeatVector 层可以用作适配器，将网络的编码器和解码器部分连接起来。我们可以将 RepeatVector 配置为重复输入 2 次。这将创建一个三维输出，由编码器输出的序列的两个副本组成，然后我们可以使用相同的全连接层对这两个副本进行解码，以获得所需的两个输出向量。

该问题被定义为一个具有 11 个类别的分类问题，因此我们可以优化对数损失（*categorical_crossentropy*）函数，甚至可以跟踪每个训练 epoch 的准确率和损失。

将这些组合起来，我们得到：

为什么要使用 RepeatVector 层？

为什么不将编码器的序列输出作为解码器的输入？

也就是说，每个 LSTM 在输入序列的每个时间步输出一次，而不是每个 LSTM 对整个输入序列输出一次。

每个输入序列时间步的输出使解码器能够访问输入序列的中间表示。这可能有用，也可能无用。在输入序列结束时提供最终 LSTM 输出可能更合乎逻辑，因为它捕获了关于整个输入序列的信息，可以映射到或计算输出。

此外，这使得网络中没有东西可以指定解码器的大小，除了输入，为每个输入时间步（5 个而不是 2 个）提供一个输出值。

您可以将输出重构为由空格填充的 5 个字符序列。网络将执行比必需更多的工作，并且可能会丢失编码器-解码器范例提供的某些压缩能力。尝试一下，看看结果。

Keras GitHub 项目中标题为“序列到序列学习是否正确？”的问题，提供了关于您可以尝试的替代表示的一些很好的讨论。

评估 LSTM 模型

与之前一样，我们可以生成新一批示例，并在模型拟合后评估算法。

我们可以计算预测的 RMSE 分数，尽管为了简洁起见，我在这里省略了。

完整示例

总而言之，完整的示例列在下面。

运行示例几乎完美地匹配了问题。事实上，运行更多 epoch 或将权重更新增加到每个 epoch（*batch_size=1*）都可以达到目标，但训练时间将是现在的 10 倍。

注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能会有所不同。请考虑运行示例几次并比较平均结果。

我们可以看到，在我们查看的前 20 个示例中，预测结果与预期结果匹配。