使用 Python 和 Keras 中的 LSTM 循环神经网络进行序列分类

序列分类是一个预测建模问题，其中您有一些跨空间或时间的输入序列，任务是预测序列的类别。

这个问题很困难，因为序列的长度可能不同，可能包含非常大的输入符号词汇表，并且可能要求模型学习输入序列中符号之间的长期上下文或依赖关系。

在这篇文章中，您将了解如何使用 Keras 深度学习库在 Python 中为序列分类问题开发 LSTM 循环神经网络模型。

阅读本文后，你将了解：

• 如何为序列分类问题开发 LSTM 模型
• 如何通过使用 dropout 减少 LSTM 模型中的过拟合
• 如何将 LSTM 模型与擅长学习空间关系的卷积神经网络结合起来

通过我的新书《自然语言处理深度学习》启动您的项目，包括分步教程和所有示例的 Python 源代码文件。

让我们开始吧。

• 2016 年 7 月：首次发布
• 2016 年 10 月更新：更新了 Keras 1.1.0 和 TensorFlow 0.10.0 的示例
• 2017 年 3 月更新：更新了 Keras 2.0.2、TensorFlow 1.0.1 和 Theano 0.9.0 的示例
• 2018 年 5 月更新：更新了代码以使用最新的 Keras API，感谢 Jeremy Rutman
• 2022 年 7 月更新：更新了 TensorFlow 2.x 的代码，并添加了一个使用双向 LSTM 的示例

使用 Python 和 Keras 中的 LSTM 循环神经网络进行序列分类
图片由 photophilde 提供，保留部分权利。

问题描述

您将在本教程中用于演示序列学习的问题是 IMDB 电影评论情感分类问题。每个电影评论都是一个可变单词序列，必须对每个电影评论的情感进行分类。

大型电影评论数据集（通常称为 IMDB 数据集）包含 25,000 条高度两极分化的电影评论（好或坏）用于训练，以及相同数量的评论用于测试。问题是确定给定电影评论是积极情感还是消极情感。

该数据由 斯坦福大学研究人员收集，并用于 2011 年的一篇论文中，其中数据以 50/50 的比例用于训练和测试。准确率达到 88.89%。

Keras 提供了对 IMDB 数据集的内置访问。imdb.load_data() 函数允许您以适合在神经网络和深度学习模型中使用的格式加载数据集。

单词已被整数替换，这些整数表示数据集中每个单词的有序频率。因此，每个评论中的句子都由一个整数序列组成。

词嵌入

您将把每个电影评论映射到一个实数向量域，这是一种处理文本时流行的技术——称为词嵌入。这是一种将单词编码为高维空间中的实值向量的技术，其中单词在含义上的相似性转化为向量空间中的接近性。

Keras 提供了一种方便的方法，通过嵌入层将单词的正整数表示转换为词嵌入。

您将把每个单词映射到 32 长度的实值向量。您还将把我们感兴趣的建模单词总数限制在最常见的 5000 个单词之内，其余的归零。最后，每个评论中的序列长度（单词数）各不相同，因此您将把每个评论限制为 500 个单词，截断长评论并用零值填充短评论。

现在您已经定义了问题以及如何准备和建模数据，您已准备好开发一个 LSTM 模型来分类电影评论的情感。

用于序列分类的简单 LSTM

您可以为 IMDB 问题快速开发一个小型 LSTM，并获得良好的准确性。

让我们首先导入此模型所需的类和函数，并将随机数生成器初始化为常数值，以确保您可以轻松重现结果。

您需要加载 IMDB 数据集。您将数据集限制为前 5,000 个单词。您还将数据集分为训练集 (50%) 和测试集 (50%)。

接下来，您需要截断并填充输入序列，使它们都具有相同的长度以进行建模。模型将学习零值不携带任何信息。序列在内容方面长度不同，但需要等长向量才能在 Keras 中执行计算。

您现在可以定义、编译和拟合您的 LSTM 模型。

第一层是嵌入层，它使用 32 长度的向量来表示每个单词。下一层是具有 100 个记忆单元（智能神经元）的 LSTM 层。最后，因为这是一个分类问题，您将使用一个具有单个神经元和 sigmoid 激活函数的全连接输出层，用于问题中的两个类别（好和坏）进行 0 或 1 预测。

由于这是一个二元分类问题，因此使用对数损失作为损失函数（Keras 中的 binary_crossentropy）。使用高效的 ADAM 优化算法。模型只拟合了两个 epoch，因为它很快就会过度拟合问题。使用 64 条评论的大批量大小来分散权重更新。

一旦拟合，您可以评估模型在未见过评论上的性能。

为了完整性，这里是 IMDB 数据集上此 LSTM 网络的完整代码列表。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行此示例将产生以下输出。

您可以看到，这个经过少量调整的简单 LSTM 在 IMDB 问题上取得了接近最先进的结果。重要的是，这是一个模板，您可以用来将 LSTM 网络应用于您自己的序列分类问题。

现在，让我们看看这个简单模型的一些扩展，您可能也希望将它们应用于您自己的问题。

带有 Dropout 的 LSTM 用于序列分类

像 LSTM 这样的循环神经网络通常存在过拟合问题。

Dropout 可以使用 Dropout Keras 层在层之间应用。您可以通过在嵌入层和 LSTM 层之间以及 LSTM 和密集输出层之间添加新的 Dropout 层来轻松实现这一点。例如：

上面带有 Dropout 层的完整代码示例如下：

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行此示例会提供以下输出。

您可以看到 dropout 对训练产生了预期的影响，收敛趋势略慢，并且在这种情况下，最终准确率较低。模型可能需要再训练几个 epoch，并且可能会获得更高的技能（尝试一下看看）。

另外，可以将 dropout 精确地单独应用于内存单元的输入和循环连接。

Keras 通过 LSTM 层的参数提供了此功能，其中 **dropout** 用于配置输入 dropout，**recurrent_dropout** 用于配置循环 dropout。例如，您可以修改第一个示例以如下方式将 dropout 添加到输入和循环连接：

下面列出了带有更精确的 LSTM dropout 的完整代码，以供参考。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行此示例会提供以下输出。

您可以看到，LSTM 特有的 dropout 对网络收敛的影响比层级 dropout 更显著。与上面一样，epoch 数量保持不变，并且可以增加以查看模型技能是否能进一步提升。

Dropout 是对抗 LSTM 模型过拟合的强大技术，两种方法都值得尝试。不过，您可能会通过 Keras 中提供的门控特定 dropout 获得更好的结果。

用于序列分类的双向 LSTM

有时，反向使用序列效果更好。在这种情况下，您只需在使用 Python 语法 `x[::-1]` 反转向量 `x`，然后再用它来训练您的 LSTM 网络。

有时，正向或反向顺序都不能完美地工作，但将它们结合起来会产生更好的结果。在这种情况下，您将需要一个**双向 LSTM 网络**。

双向 LSTM 网络只是两个独立的 LSTM 网络；一个使用正向序列输入，另一个使用反向序列输入。然后将两个 LSTM 网络的输出连接起来，然后馈送到网络的后续层。在 Keras 中，您可以使用 `Bidirectional()` 函数克隆一个 LSTM 层，用于正向-反向输入并连接它们的输出。例如：

由于您创建了不止一个，而是两个各有 100 个单元的 LSTM，因此该网络的训练时间将是原来的两倍。根据问题，这种额外的成本可能是合理的。

下面列出了在最后一个示例中添加双向 LSTM 的完整代码，以供参考。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行此示例会提供以下输出。

似乎您只能获得轻微的改进，但训练时间显著延长。

LSTM 和卷积神经网络用于序列分类

卷积神经网络擅长学习输入数据的空间结构。

IMDB 评论数据在评论的单词序列中确实具有一维空间结构，CNN 可能能够识别出好坏情感的不变特征。然后，这些学习到的空间特征可能被 LSTM 层作为序列学习。

您可以轻松地在嵌入层之后添加一维 CNN 和最大池化层，然后将合并的特征馈送给 LSTM。您可以使用一组相对较小的 32 个特征和较小的滤波器长度 3。池化层可以使用标准长度 2 将特征图大小减半。

例如，您可以按如下方式创建模型：

以下是包含 CNN 和 LSTM 层的完整代码列表，以供参考。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行此示例会提供以下输出。

您可以看到，您取得了比第一个示例稍好的结果，尽管权重更少，训练时间更快。

您可能会期望，如果这个示例进一步扩展以使用 dropout，甚至可以取得更好的结果。

资源

如果您有兴趣深入研究序列预测或此特定示例，以下是一些资源。

• 应用于 IMDB 数据集的 LSTMs 的 Theano 教程
• Keras 代码示例，用于在 IMDB 数据集上使用 LSTM 和 CNN。
• 带有循环神经网络的监督序列标注，Alex Graves 2012 年的书（和 PDF 预印本）。

总结

在这篇文章中，您学习了如何开发用于序列分类预测建模问题的 LSTM 网络模型。

具体来说，你学到了：

• 如何为 IMDB 电影评论情感分类问题开发一个简单的单层 LSTM 模型
• 如何使用层级和 LSTM 特定的 dropout 扩展您的 LSTM 模型以减少过拟合
• 如何将卷积神经网络的空间结构学习特性与 LSTM 的序列学习结合起来

您对使用 LSTM 进行序列分类或本文有任何疑问吗？请在评论中提出您的问题，我将尽力回答。

立即开发文本数据的深度学习模型！

在几分钟内开发您自己的文本模型

...只需几行python代码

在我的新电子书中探索如何实现
用于自然语言处理的深度学习

它提供关于以下主题的自学教程：
词袋模型、词嵌入、语言模型、标题生成、文本翻译等等...

最终将深度学习应用于您的自然语言处理项目

跳过学术理论。只看结果。

查看内容