如何使用深度学习（文本分类）预测电影评论情绪

情感分析是一个自然语言处理问题，旨在理解文本并预测其潜在意图。

在本帖中，您将了解如何使用 Keras 深度学习库在 Python 中预测电影评论的情感，将其分为正面或负面。

阅读本文后，你将了解：

• 关于用于自然语言处理的 IMDB 情感分析问题以及如何在 Keras 中加载它
• 如何在 Keras 中为自然语言问题使用词嵌入
• 如何为 IMDB 问题开发和评估多层感知器模型
• 如何为 IMDB 问题开发一维卷积神经网络模型

开始您的项目，阅读我的新书《Python 深度学习》，其中包含分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 2016 年 7 月：首次发布
• 更新 2016 年 10 月：已更新以适应 Keras 1.1.0 和 TensorFlow 0.10.0
• 2017 年 3 月更新：更新至 Keras 2.0.2、TensorFlow 1.0.1 和 Theano 0.9.0
• 更新 2019 年 7 月：如果您使用的是 Keras 2.2.4 和 NumPy 1.16.2+ 并遇到“ValueError: Object arrays cannot be loaded when allow_pickle=False”（对象数组在 allow_pickle=False 时无法加载），请尝试更新 NumPy 至 1.16.1，更新 Keras 至 GitHub 版本，或使用此处描述的修复方法
• 更新 2019 年 9 月：已更新以适应 Keras 2.2.5
• 2022 年 7 月更新：更新至 TensorFlow 2.x API

使用深度学习从电影评论预测情绪
照片由 SparkCBC 提供，保留部分权利。

IMDB 电影评论情感问题描述

该数据集是大型电影评论数据集，通常称为 IMDB 数据集。

IMDB 数据集包含 25,000 条高度极化的电影评论（好评或差评）用于训练，另外 25,000 条用于测试。问题是确定给定的电影评论是正面还是负面情绪。

该数据由斯坦福大学的研究人员收集，并在2011 年的一篇论文[PDF] 中使用，该论文将数据 50/50 分割用于训练和测试。准确率达到了 88.89%。

该数据也作为 2014 年底至 2015 年初题为“词袋模型遇上爆米花袋”的 Kaggle 竞赛的基础。准确率达到了 97% 以上，获胜者达到了 99%。

使用 Keras 加载 IMDB 数据集

Keras 提供了对IMDB 数据集的内置访问。

keras.datasets.imdb.load_data() 允许您以可用于神经网络和深度学习模型格式加载数据集。

单词已被整数替换，这些整数表示单词在数据集中出现的绝对流行度。因此，每条评论中的句子由整数序列组成。

首次调用 imdb.load_data() 将把 IMDB 数据集下载到您的计算机，并将其存储在您的主目录下的 ~/.keras/datasets/imdb.pkl 中，作为一个 32MB 的文件。

有用的地方在于，imdb.load_data() 提供了额外的参数，包括要加载的顶级单词数量（其中整数值较低的单词在返回的数据中被标记为零）、要跳过的顶级单词数量（以避免重复使用“the”），以及支持评论的最大长度。

让我们加载数据集并计算它的一些属性。您将从加载一些库和整个 IMDB 数据集作为训练数据集开始。

接下来，您可以显示训练数据集的形状。

运行此代码片段，您可以看到有 50,000 条记录。

您还可以打印唯一的类别值。

您可以看到这是一个二元分类问题，用于评论中的好评和差评。

接下来，您可以了解数据集中唯一单词的总数。

有趣的是，您可以看到整个数据集中有近 100,000 个单词。

最后，您可以了解平均评论长度。

您可以看到平均评论长度接近 300 个单词，标准差略高于 200 个单词。

查看评论长度（以单词为单位）的箱线图，您可以看到这是一个指数分布，您可以通过截断长度在 400 到 500 个单词之间覆盖大部分分布。

IMDB 数据集的评论长度（以单词为单位）

词嵌入

自然语言处理领域最近的一项突破是词嵌入。

这项技术是将单词编码为高维空间中的实值向量，其中单词在意义上的相似性转化为向量空间中的接近度。

离散的单词被映射到连续数字的向量。这在使用神经网络和深度学习模型的自然语言处理问题时非常有用，因为它们需要数字作为输入。

Keras 提供了一种便捷的方式，通过Embedding 层将单词的正整数表示转换为词嵌入。

该层接收定义映射的参数，包括预期的最大单词数，也称为词汇量大小（例如，将作为整数看到的整数值的最大值）。该层还允许您指定每个单词向量的维度，称为输出维度。

您希望为 IMDB 数据集使用词嵌入表示。

假设您只对数据集中使用频率前 5,000 个单词感兴趣。因此，您的词汇量大小将是 5,000。您可以选择使用 32 维向量来表示每个单词。最后，您可能希望将最大评论长度限制为 500 个单词，截断超过该长度的评论，并用 0 值填充短于该长度的评论。

您将按如下方式加载 IMDB 数据集

然后，您将使用 Keras 工具，通过 `sequence.pad_sequences()` 函数将数据集截断或填充到每个观测值的长度为 500。

最后，稍后，您的模型的第一个层将是一个使用 Embedding 类创建的词嵌入层，如下所示

这个第一层的输出将是一个矩阵，对于给定的评论训练或测试模式，其大小为 32x500。

现在您知道如何在 Keras 中加载 IMDB 数据集以及如何为它使用词嵌入表示，让我们来开发和评估一些模型。

IMDB 数据集的简单多层感知器模型

您可以从开发一个具有单个隐藏层 的简单多层感知器模型开始。

词嵌入表示是一项真正的创新，您将展示在 2011 年被认为是世界一流的结果，只需付出相对简单的神经网络。

让我们开始导入此模型所需的类和函数，并将随机数生成器初始化为一个常量值，以确保您可以轻松重现结果。

接下来，您将加载 IMDB 数据集。您将如词嵌入部分所讨论的那样简化数据集——只加载前 5,000 个单词。

您还将使用 50/50 的数据集分割成训练集和测试集。这是一个很好的标准分割方法。

您将评论长度限制为 500 个单词，截断较长的评论，并用零填充较短的评论。

现在，您可以创建模型了。您将使用 Embedding 层作为输入层，将词汇量设置为 5,000，词向量大小设置为 32 维，input_length 设置为 500。如前一节所述，此第一层的输出将是一个 32x500 大小的矩阵。

您将嵌入层的输出展平成一维，然后使用一个具有 250 个单元和整流激活函数的密集隐藏层。输出层有一个神经元，并将使用 sigmoid 激活来输出 0 和 1 的预测值。

该模型使用对数损失，并通过高效的 ADAM 优化过程进行优化。

您可以拟合模型，并在训练时使用测试集作为验证集。此模型过拟合得非常快，因此您将使用很少的训练轮次，在本例中为 2 轮。

数据量很大，因此您将使用 128 的批次大小。在模型训练完成后，您将在测试数据集上评估其准确率。

将所有这些结合起来，完整的代码清单如下所示。

运行此示例，将拟合模型并总结估计的性能。

注意：您的结果可能会有所不同，这取决于算法或评估程序的随机性质，或数值精度的差异。考虑运行示例几次并比较平均结果。

您可以看到，这个非常简单的模型以最小的努力达到了 87% 的分数，这接近于原始论文。

如果您训练这个网络，您很可能会做得更好，也许可以使用更大的嵌入并添加更多隐藏层。

让我们尝试一种不同的网络类型。

IMDB 数据集的一维卷积神经网络模型

卷积神经网络旨在保留图像数据中的空间结构，同时对场景中学习对象的 {*位置*}和 {*方向*}具有鲁棒性。

这种相同的原理可以应用于序列，例如电影评论中的一维单词序列。使 CNN 模型对学习识别图像对象有吸引力的相同属性也有助于学习段落中的结构，即 {*特征*}{*位置*} {*不变性*}。

Keras 分别通过 `Conv1D` 和 `MaxPooling1D` 类支持一维卷积和池化。

再次，让我们导入此示例所需的类和函数，并将随机数生成器初始化为常量值，以便您可以轻松重现结果。

您也可以像以前一样加载和准备 IMDB 数据集。

现在您可以定义您的卷积神经网络模型了。这次，在 Embedding 输入层之后，插入一个 Conv1D 层。这个卷积层有 32 个特征图，一次读取词嵌入的三个向量元素。

卷积层后面是一个 1D 最大池化层，长度和步长都为 2，它将卷积层的特征图大小减半。网络的其余部分与上面神经网络相同。

您将像以前一样拟合网络。

将所有这些结合起来，完整的代码清单如下所示。

运行此示例，您会首先看到网络结构的摘要。您可以看到卷积层保留了您嵌入输入层 32 维输入和最多 500 个单词的维度。池化层将该表示减半以压缩它。

注意：您的结果可能会有所不同，这取决于算法或评估程序的随机性质，或数值精度的差异。考虑运行示例几次并比较平均结果。

运行此示例，与上面的神经网络模型相比，准确率略有提高，达到了 87%。

同样，还有很大的优化空间，例如使用更深和/或更大的卷积层。

一个有趣的思路是将最大池化层设置为使用 500 的输入长度。这将把每个特征图压缩成一个 32 长度的向量，并可能提高性能。

总结

在本帖中，您了解了用于自然语言处理的 IMDB 情感分析数据集。

您学习了如何开发情感分析的深度学习模型，包括：

• 如何在 Keras 中加载和查看 IMDB 数据集
• 如何开发用于情感分析的大型神经网络模型
• 如何开发用于情感分析的一维卷积神经网络模型

您对情感分析或本帖有任何疑问吗？请在评论中提问，我将尽力回答。