深度卷积神经网络用于情感分析（文本分类）

开发一个深度学习模型来自动分类电影评论
使用 Keras 和 Python 将电影评论分类为正面或负面，一步一步进行。

词嵌入是一种文本表示技术，其中意义相似的不同单词具有相似的实值向量表示。

这是促使神经网络模型在许多具有挑战性的自然语言处理问题上取得优异性能的关键突破。

在本教程中，您将了解如何为神经网络开发词嵌入模型来对电影评论进行分类。

完成本教程后，您将了解：

• 如何使用深度学习方法准备用于分类的电影评论文本数据。
• 如何在拟合深度学习模型的过程中学习词嵌入。
• 如何学习独立的词嵌入以及如何在神经网络模型中使用预训练的嵌入。

开始您的项目，阅读我的新书《深度学习在自然语言处理中的应用》，其中包含分步教程以及所有示例的Python源代码文件。

让我们开始吧。

• 更新（2019年11月）：修正了准备训练数据集时代码中的一个拼写错误（感谢 HSA）。
• 2020 年 8 月更新：更新了电影评论数据集的链接。

如何开发词嵌入模型来预测电影评论情感
照片作者：Katrina Br*?#*!@nd，部分权利保留。

教程概述

本教程分为5个部分，它们是：

1. 电影评论数据集
2. 数据准备
3. 训练嵌入层
4. 训练 word2vec 嵌入
5. 使用预训练嵌入

Python 环境

本教程假设您已安装 Python SciPy 环境，最好是 Python 3。

您必须安装 Keras（2.2 或更高版本），并使用 TensorFlow 或 Theano 后端。

本教程还假设您已安装 scikit-learn、Pandas、NumPy 和 Matplotlib。

如果您需要环境方面的帮助，请参阅本教程

• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境

本教程不需要 GPU，但您可以在 Amazon Web Services 上廉价地访问 GPU。在本教程中学习如何操作。

• 如何设置 Amazon AWS EC2 GPU 来训练 Keras 深度学习模型（分步）

让我们开始吧。

1. 电影评论数据集

电影评论数据是 Bo Pang 和 Lillian Lee 在 2000 年代初期从 imdb.com 网站检索的电影评论集合。这些评论是作为他们自然语言处理研究的一部分而收集和提供的。

这些评论最初发布于 2002 年，但于 2004 年发布了更新和清理的版本，称为“v2.0”。

该数据集包含 1,000 条正面和 1,000 条负面电影评论，这些评论取自托管在 imdb.com 上的 rec.arts.movies.reviews 新闻组的存档。作者称此数据集为“极性数据集”。

我们的数据包含 1000 条褒义和 1000 条贬义评论，所有评论均在 2002 年之前撰写，每个作者（共 312 位作者）每个类别最多 20 条评论。我们将此语料库称为极性数据集。

—— 《情感教育：基于最小割的主观性摘要情感分析》，2004 年。

数据已经过一些清理，例如

• 数据集仅包含英文评论。
• 所有文本都已转换为小写。
• 标点符号（如句号、逗号和括号）周围有空格。
• 文本已分成每行一句。

该数据已被用于一些相关的自然语言处理任务。对于分类任务，机器学习模型（如支持向量机）在该数据集上的性能在 78%-82% 之间。

更复杂的数据准备可能会在 10 折交叉验证下达到 86% 的结果。如果我们希望在现代方法实验中使用此数据集，这为我们提供了一个大致的范围，即 80% 的中低水平。

...根据下游极性分类器的选择，我们可以实现高度统计学意义的改进（从 82.8% 提高到 86.4%）

—— 《情感教育：基于最小割的主观性摘要情感分析》，2004 年。

您可以从此处下载数据集

• 电影评论极性数据集 (review_polarity.tar.gz, 3MB)

解压文件后，您将得到一个名为“txt_sentoken”的目录，其中包含两个子目录，用于存储负面和正面的文本，分别为“neg”和“pos”。评论以文件名 cv000 到 cv999 的格式存储，每个 neg 和 pos 目录下都有相应的评论。

接下来，我们来看看如何加载和准备文本数据。

2. 数据准备

在本节中，我们将探讨 3 件事

1. 将数据分为训练集和测试集。
2. 加载并清理数据以去除标点符号和数字。
3. 定义一个常用词汇表。

拆分为训练集和测试集

我们假装正在开发一个系统，可以预测电影评论文本的情感是褒义还是贬义。

这意味着模型开发完成后，我们需要对新的文本评论进行预测。这将需要对这些新评论执行与模型训练数据相同的全部数据准备。

通过在进行任何数据准备之前拆分训练集和测试集，我们将确保此约束内嵌到模型的评估中。这意味着测试集中的任何有助于我们更好地准备数据（例如，使用的单词）的知识，在用于模型训练的数据准备过程中都不可用。

话虽如此，我们将使用最后 100 条褒义评论和最后 100 条贬义评论作为测试集（200 条评论），其余 1,800 条评论作为训练数据集。

这是 90% 训练，10% 拆分的数据。

通过使用评论的文件名可以轻松地施加这种分割，其中文件名 000 到 899 的评论用于训练数据，而文件名 900 及之后的评论用于测试。

加载和清理评论

文本数据本身已经相当干净；不需要太多准备。

如果您不熟悉文本数据清理，请参阅此帖子

• 如何使用 Python 清理文本以进行机器学习

在不纠缠于太多细节的情况下，我们将按以下方式准备数据：

• 按空格分割标记。
• 从单词中删除所有标点符号。
• 删除所有不纯粹由字母字符组成的单词。
• 删除所有已知停用词。
• 删除所有长度小于等于 1 个字符的单词。

我们可以将所有这些步骤放入一个名为 clean_doc() 的函数中，该函数以从文件中加载的原始文本作为参数，并返回一个清理过的标记列表。我们还可以定义一个 load_doc() 函数，该函数从文件加载文档，以便与 clean_doc() 函数一起使用。

下面列出了清理第一条正面评论的示例。

运行该示例会打印出一长串清理过的标记。

我们可以探索更多清理步骤，并将它们留作进一步的练习。

我很想看看你们的成果。
请在底部的评论区分享你们的方法和发现。

定义词汇表

在使用词袋模型或嵌入模型时，定义一个已知词汇表非常重要。

词汇量越大，文档的表示就越大，因此将单词限制在仅那些被认为具有预测性的单词很重要。这一点很难提前知道，而且通常测试关于如何构建有用词汇表的各种假设很重要。

我们已经在上一节中看到了如何去除标点符号和数字。我们可以将此过程应用于所有文档，并构建一个包含所有已知单词的集合。

我们可以将词汇表开发为一个 Counter，它是一个单词及其计数的字典映射，使我们能够轻松地更新和查询。

每个文档都可以添加到计数器中（一个名为 add_doc_to_vocab() 的新函数），我们可以遍历负面目录中的所有评论，然后是正面目录（一个名为 process_docs() 的新函数）。

完整的示例如下所示。

运行该示例显示我们有一个包含 44,276 个单词的词汇表。

我们还可以看到电影评论中使用频率最高的 50 个单词的样本。

请注意，此词汇表仅基于训练数据集中存在的评论构建。

我们可以遍历词汇表，删除出现次数很少的所有单词，例如在所有评论中只使用了一两次的单词。

例如，以下代码片段将只检索在所有评论中出现 2 次或更多次的标记。

在上面运行示例时添加此部分，显示词汇量大小从 44,276 减少到 25,767 个单词，减少了一半多。

最后，可以将词汇表保存到一个名为 vocab.txt 的新文件中，我们稍后可以加载它并用于在对电影评论进行编码以进行建模之前进行过滤。我们定义了一个名为 save_list() 的新函数，该函数将词汇表保存到文件中，每行一个单词。

例如

对词汇表应用最小出现次数过滤器并将其保存到文件后，您现在应该有一个名为 vocab.txt 的新文件，其中只包含我们感兴趣的单词。

您文件中的单词顺序可能会有所不同，但应与以下内容类似

现在我们准备好学习评论的特征了。

3. 训练嵌入层

在本节中，我们将在训练神经网络进行分类问题时学习词嵌入。

词嵌入是一种文本表示方式，其中词汇表中的每个单词都由高维空间中的实值向量表示。这些向量在训练时被学习，使得具有相似意义的单词在向量空间中具有相似的表示（在向量空间中靠近）。这比传统的词袋模型更具表现力，词袋模型会忽略单词或标记之间的关系，或者强制使用二元组和三元组方法。

单词的实值向量表示可以在训练神经网络时学习。在 Keras 深度学习库中，我们可以使用 Embedding layer 来实现。

如果您不熟悉词嵌入，请参阅此帖子。

• 什么是文本的词嵌入？

如果您不熟悉 Keras 中的词嵌入层，请参阅此帖子。

• 如何使用 Keras 的词嵌入层进行深度学习

第一步是加载词汇表。我们将使用它来过滤掉我们不感兴趣的电影评论中的单词。

如果您已完成上一节，您应该有一个名为“vocab.txt”的本地文件，其中每行一个单词。我们可以加载该文件并构建一个集合作为词汇表，以检查标记的有效性。

接下来，我们需要加载所有训练数据的电影评论。为此，我们可以改编上一节中的 process_docs() 来加载文档，清理它们，并将它们作为字符串列表返回，每行一个文档。我们希望每个文档都是一个字符串，以便以后可以轻松地将其编码为整数序列。

清理文档包括按空格拆分每条评论，去除标点符号，然后过滤掉词汇表中不存在的所有标记。

更新后的 clean_doc() 函数如下所示。

更新后的 process_docs() 然后可以调用 clean_doc() 来处理我们训练数据集中的“pos”和“neg”目录中的每个文档。

下一步是将每篇文档编码为整数序列。

Keras 嵌入层需要整数输入，其中每个整数映射到一个特定的实值向量表示的单个标记。这些向量在训练开始时是随机的，但在训练过程中会变得对网络有意义。

我们可以使用 Keras API 中的 Tokenizer 类将训练文档编码为整数序列。

首先，我们必须构建该类的一个实例，然后在一个实例上训练它，该实例将在训练数据集中的所有文档上进行训练。在这种情况下，它将开发训练数据集中所有标记的词汇表，并开发一个从词汇表中的单词到唯一整数的一致映射。我们也可以自己使用词汇表文件来开发这个映射。

现在已经准备好了单词到整数的映射，我们可以使用它来编码训练数据集中的评论。我们可以通过调用 Tokenizer 上的 texts_to_sequences() 函数来实现。

我们还需要确保所有文档的长度都相同。

这是 Keras 实现高效计算的要求。我们可以将评论截断到最短长度，或者将评论（用值“0”填充）填充到最大长度，或者采用混合方式。在本例中，我们将所有评论填充到训练数据集中最长评论的长度。

首先，我们可以使用训练数据集上的 max() 函数找到最长的评论并获取其长度。然后，我们可以调用 Keras 的 pad_sequences() 函数，通过在末尾添加 0 值将序列填充到最大长度。

最后，我们可以为训练数据集定义类别标签，这对于拟合监督神经网络模型以预测评论情感是必需的。

然后，我们可以对测试数据集进行编码和填充，这将在训练模型后用于评估模型。

我们现在准备定义我们的神经网络模型。

该模型将使用一个Embedding层作为第一个隐藏层。Embedding层需要指定词汇量大小、实值向量空间的维度以及输入文档的最大长度。

词汇量大小是我们词汇表中单词的总数，再加上一个用于未知单词。这可以是词汇集合的长度，或者是用于将文档整数编码的分词器中词汇的大小，例如：

我们将使用一个100维的向量空间，但您可以尝试其他值，例如50或150。最后，最大文档长度已在之前的填充过程中使用的max_length变量中计算得出。

完整的模型定义如下，包括Embedding层。

我们使用卷积神经网络（CNN），因为它们已被证明在文档分类问题上取得了成功。使用一种保守的CNN配置，包含32个滤波器（用于处理单词的并行字段）和8个核大小，并使用修正线性（‘relu’）激活函数。之后是一个池化层，将卷积层的输出减半。

接下来，CNN部分模型的2D输出被展平成一个长2D向量，以表示CNN提取的“特征”。模型的后端是标准的。多层感知器层，用于解释CNN特征。输出层使用sigmoid激活函数，输出一个介于0和1之间的值，分别代表评论中的负面和正面情绪。

有关文本分类的有效深度学习模型配置的更多建议，请参阅此博文

• 深度学习在文档分类中的最佳实践

运行这段代码可以得到所定义网络的摘要。

我们可以看到，Embedding层期望的输入是长度为442个单词的文档，并将文档中的每个单词编码为一个100维的向量。

接下来，我们在训练数据上拟合网络。

由于我们学习的问题是一个二元分类问题，因此我们使用二元交叉熵损失函数。使用了随机梯度下降的高效Adam实现，并在训练过程中除了损失之外，我们还跟踪准确率。模型训练10个epochs，即10次遍历训练数据。

网络配置和训练计划是经过一些试错发现的，但绝不是针对此问题的最优配置。如果您能通过不同的配置获得更好的结果，请告诉我。

模型拟合后，将在测试数据集上进行评估。此数据集包含我们以前未见过的单词以及在训练期间未见过的评论。

我们可以将所有这些结合起来。

完整的代码列表如下。

运行示例会在每个训练epoch结束时打印损失和准确率。

注意：由于算法或评估程序的随机性，或数值精度的差异，您的结果可能会有所不同。可以考虑运行几次示例并比较平均结果。

我们可以看到，模型非常快速地在训练数据集上达到了100%的准确率。在运行结束时，模型在测试数据集上达到了84.5%的准确率，这是一个很好的分数。

我们刚刚看到了一个示例，说明如何将词嵌入作为神经网络模型拟合的一部分进行学习。

接下来，让我们看看如何有效地学习一个独立的嵌入，然后可以在我们的神经网络中使用。

4. 训练word2vec嵌入

在本节中，我们将了解如何使用一种称为word2vec的高效算法来学习一个独立的词嵌入。

作为网络一部分学习词嵌入的一个缺点是它可能非常慢，特别是对于非常大的文本数据集。

word2vec算法是一种从文本语料库中以独立方式学习词嵌入的方法。该方法的优点在于它可以在空间和时间复杂度方面非常高效地生成高质量的词嵌入。

第一步是准备好用于学习嵌入的文档。

这包括与上一节相同的 数据清理步骤，即按空格分割文档、删除标点符号，以及过滤掉不在词汇表中的标记。

word2vec算法是逐句处理文档的。这意味着我们在清理过程中将保留基于句子的结构。

我们像以前一样开始加载词汇表。

接下来，我们定义一个名为doc_to_clean_lines()的函数，该函数逐行清理加载的文档并返回清理后的行列表。

接下来，我们调整process_docs()函数以加载和清理文件夹中的所有文档，并返回所有文档行的列表。

此函数的结果将是word2vec模型的训练数据。

然后，我们可以加载所有训练数据，并将其转换为一个长长的“句子”列表（标记列表），为拟合word2vec模型做好准备。

我们将使用Gensim Python库中提供的word2vec实现。特别是Word2Vec类。

有关使用Gensim训练独立词嵌入的更多信息，请参阅此博文

• 如何使用 Gensim 在 Python 中开发词嵌入

模型在构造类时进行拟合。我们将训练数据中的干净句子列表传入，然后指定嵌入向量空间的大小（我们再次使用100），在学习如何嵌入训练句子中的每个单词时要查看的邻近单词数量（我们使用5个邻近词），拟合模型时使用的线程数（我们使用8个，但如果您的CPU核心数不同，请相应更改），以及考虑在词汇表中使用的单词的最小出现次数（我们将此设置为1，因为我们已经准备好了词汇表）。

模型拟合后，我们打印学习到的词汇量大小，它应该与vocab.txt中的词汇量大小25,767个标记匹配。

最后，我们使用模型“wv”（词向量）属性上的save_word2vec_format()方法将学习到的嵌入向量保存到文件中。嵌入以ASCII格式保存，每行一个单词和向量。

完整的示例如下所示。

运行示例加载了58,109个训练数据句子，并为25,767个单词的词汇量创建了嵌入。

您现在应该在当前工作目录中有一个文件“embedding_word2vec.txt”，其中包含学习到的向量。

接下来，让我们看看如何在模型中使用这些学习到的向量。

5. 使用预训练的嵌入

在本节中，我们将使用在非常大的文本语料库上准备的预训练词嵌入。

我们可以使用上一节准备的预训练词嵌入和前一节开发的CNN模型。

第一步是将词嵌入加载为单词到向量的目录。词嵌入以所谓的“word2vec”格式保存，其中包含一个标题行。加载嵌入时，我们将跳过此标题行。

下面名为load_embedding()的函数加载嵌入，并返回一个将单词映射到NumPy格式向量的目录。

现在我们将所有向量加载到内存中，然后按照与Keras Tokenizer的整数编码相匹配的方式来组织它们。

回想一下，我们在将审查文档传递给Embedding层之前对其进行了整数编码。整数映射到嵌入层中特定向量的索引。因此，重要的是我们要将向量放在Embedding层中，以便编码的单词映射到正确的向量。

下面定义了一个名为get_weight_matrix()的函数，该函数以加载的嵌入和tokenizer.word_index词汇表作为参数，并返回一个在正确位置具有词向量的矩阵。

现在我们可以使用这些函数为我们的模型创建新的Embedding层。

请注意，准备好的权重矩阵embedding_vectors作为参数传递给新的Embedding层，并且我们将‘trainable‘参数设置为‘False‘，以确保网络在训练网络时不会尝试调整预先学习到的向量。

我们现在可以将此层添加到我们的模型中。我们还有一个略有不同的模型配置，在CNN模型中有更多的滤波器（128个），以及一个匹配开发word2vec嵌入时使用的5个邻近词的核。最后，模型的后端被简化了。

这些更改是通过一些试错得出的。

完整的代码列表如下。

运行示例显示性能没有提高。

注意：由于算法或评估程序的随机性，或数值精度的差异，您的结果可能会有所不同。可以考虑运行几次示例并比较平均结果。

事实上，性能差了很多。结果表明训练数据集得到了成功学习，但测试数据集上的评估非常差，准确率仅略高于50%。

测试性能差的原因可能是所选的word2vec配置或所选的神经网络配置。

嵌入层中的权重可以用作网络的起点，并在网络训练期间进行调整。我们可以通过在创建嵌入层时设置‘trainable=True‘（默认值）来实现这一点。

重复此更改的实验显示结果略有改善，但仍然很差。

注意：由于算法或评估程序的随机性，或数值精度的差异，您的结果可能会有所不同。可以考虑运行几次示例并比较平均结果。

我鼓励您探索嵌入和网络的其他配置，看看您是否能做得更好。告诉我您的进展。

可以使用在非常大的文本数据语料库上准备的预训练词向量。

例如，Google和Stanford都提供了预训练的词向量，您可以下载它们，它们分别使用高效的word2vec和GloVe方法进行训练。

让我们尝试在我们的模型中使用预训练的向量。

您可以从Stanford网页下载预训练的GloVe向量。特别是，在Wikipedia数据上训练的向量

• glove.6B.zip (822MB下载)

解压该文件，您会发现各种不同维度的预训练嵌入。我们将加载文件中100维的版本“glove.6B.100d.txt”。

Glove文件不包含标题行，因此在将嵌入加载到内存时，我们不需要跳过第一行。下面是更新的、更具防御性的load_embedding()函数。

加载的嵌入可能不包含我们所选词汇表中的所有单词。因此，在创建Embedding权重矩阵时，我们需要跳过在加载的GloVe数据中没有相应向量的单词。下面是更新的、更具防御性的get_weight_matrix()函数版本。

我们现在可以像以前一样加载GloVe嵌入并创建Embedding层。

我们将使用与之前相同的模型。

完整的示例如下所示。