使用深度学习进行文本分类的最佳实践

文本分类描述了一类常见的问题，例如预测推文和电影评论的情感，以及将电子邮件分类为垃圾邮件或非垃圾邮件。

深度学习方法在文本分类方面表现出色，在一系列标准学术基准问题上取得了最先进的结果。

在这篇文章中，您将了解在开发用于文本分类的深度学习模型时需要考虑的一些最佳实践。

阅读本文后，你将了解：

• 在开始处理文本分类问题时，需要考虑深度学习方法的通用组合。
• 第一个要尝试的架构，以及关于如何配置超参数的具体建议。
• 更深的网络可能代表着该领域在灵活性和能力方面的未来。

通过我的新书《深度学习自然语言处理》启动您的项目，其中包括逐步教程和所有示例的Python源代码文件。

让我们开始吧。

深度学习在文档分类中的最佳实践
图片由storebukkebruse拍摄，部分权利保留。

概述

本教程分为5个部分，它们是：

1. 词嵌入 + CNN = 文本分类
2. 使用单层CNN架构
3. 调整CNN超参数
4. 考虑字符级CNN
5. 考虑更深的CNN用于分类

1. 词嵌入 + CNN = 文本分类

文本分类的操作方式涉及使用词嵌入来表示单词，以及使用卷积神经网络（CNN）来学习如何在分类问题上区分文档。

Yoav Goldberg 在其关于深度学习用于自然语言处理的入门指南中评论道，神经网络通常比经典的线性分类器提供更好的性能，特别是与预训练的词嵌入结合使用时。

网络的非线性特性，以及轻松整合预训练词嵌入的能力，通常会带来卓越的分类准确性。

—— 自然语言处理神经网络模型入门，2015。

他还评论说，卷积神经网络在文档分类中很有效，主要是因为它们能够以不依赖于其在输入序列中位置的方式挑选出显著特征（例如，词元或词元序列）。

带有卷积层和池化层的网络对于分类任务很有用，在这种任务中，我们期望找到关于类别成员身份的强烈局部线索，但这些线索可能出现在输入的不同位置。[…] 我们希望学习到某些词序列是主题的良好指示符，而不一定关心它们在文档中的位置。卷积层和池化层允许模型学习找到这些局部指示符，无论它们的位置如何。

—— 自然语言处理神经网络模型入门，2015。

因此，该架构由三个关键部分组成：

1. 词嵌入：词语的分布式表示，其中含义相似（基于其用法）的不同词语也具有相似的表示。
2. 卷积模型：一种特征提取模型，它学习从使用词嵌入表示的文档中提取显著特征。
3. 全连接模型：根据预测输出解释提取的特征。

Yoav Goldberg 在他的书中强调了 CNN 作为特征提取模型的作用

... CNN本质上是一种特征提取架构。它本身不构成一个独立的、有用的网络，而是旨在集成到更大的网络中，并与它协同训练以产生最终结果。CNN层的职责是提取有意义的子结构，这些子结构对于手头的整体预测任务很有用。

—— 第152页，自然语言处理的神经网络方法，2017。

这三个元素的结合体现在可能是组合中最常被引用的例子之一，在下一节中描述。

2. 使用单层CNN架构

您可以利用单层 CNN 在文档分类中取得良好效果，也许可以在不同大小的核上应用不同的滤波器，以便在不同尺度上对词表示进行分组。

Yoon Kim 在他关于使用预训练词向量进行卷积神经网络分类任务的研究中发现，使用预训练的静态词向量效果非常好。他建议，在非常大的文本语料库（例如，基于Google新闻的1000亿个词元训练的免费word2vec 向量）上训练的预训练词嵌入可以为自然语言处理提供良好的通用特征。

尽管对超参数的调整很少，但一个简单的单层卷积CNN表现得非常出色。我们的结果进一步证实了无监督预训练词向量是深度学习在自然语言处理中一个重要组成部分。

—— 用于句子分类的卷积神经网络，2014。

他还发现，对词向量进行进一步的任务特定调整可以使性能略有提高。

Kim描述了将CNN用于自然语言处理的通用方法。句子被映射到嵌入向量，并作为矩阵输入模型。卷积操作通过不同大小的核（例如，每次2或3个词）对输入进行逐词处理。然后使用最大池化层处理生成的特征图，以压缩或汇总提取的特征。

该架构基于 Ronan Collobert 等人在其论文《（几乎）从零开始的自然语言处理》中采用的方法，2011年。在该论文中，他们开发了一个单一的端到端神经网络模型，带有卷积层和池化层，可用于一系列基本自然语言处理问题。

Kim 提供了一个图表，通过不同大小的核以不同颜色（红色和黄色）展示了滤波器的采样过程，这有助于理解。

自然语言处理中CNN滤波器和池化架构的示例。
选自《用于句子分类的卷积神经网络》，2014年。

他有用地报告了他通过网格搜索发现并用于7个文本分类任务的模型配置，总结如下：

• 传递函数：修正线性。
• 核大小：3、4、5。
• 过滤器数量：100
• 丢弃率：0.5
• 权重正则化 (L2): 3
• 批次大小：50
• 更新规则：Adadelta

这些配置可以作为您自己实验的起点。

3. 调整CNN超参数

在针对您的文档分类问题调整卷积神经网络时，有些超参数比其他超参数更重要。

张烨和拜伦·华莱士对配置用于文档分类的单层卷积神经网络所需的超参数进行了敏感性分析。这项研究的动机是他们声称模型对其配置很敏感。

不幸的是，基于CNN的模型（即使是简单的模型）的一个缺点是，它们要求实践者指定要使用的确切模型架构并设置相应的超参数。对于初学者来说，做出这样的决定可能看起来像是一种黑魔法，因为模型中有许多自由参数。

—— 用于句子分类的卷积神经网络的敏感性分析（以及实践者指南），2015。

他们的目标是提供可用于配置新文本分类任务中CNN的通用配置。

他们提供了一个很好的模型架构图示和配置模型的决策点，如下所示。

用于句子分类的卷积神经网络架构
摘自《用于句子分类的卷积神经网络的敏感性分析（以及实践者指南）》，2015年。

该研究得出了一些有用的发现，可以作为配置用于文本分类的浅层CNN模型的起点。

一般发现如下：

• 预训练的word2vec和GloVe嵌入的选择因问题而异，但两者都比使用one-hot编码的词向量表现更好。
• 核大小很重要，应针对每个问题进行调整。
• 特征图的数量也很重要，应该进行调整。
• 1-最大池化通常优于其他类型的池化。
• Dropout对模型性能影响不大。

他们继续提供了更具体的启发式方法，如下：

• 以word2vec或GloVe词嵌入作为起点，并在拟合模型时对其进行调整。
• 在1-10的范围内，对不同核大小进行网格搜索，以找到适合您问题的最佳配置。
• 在相同的搜索中，搜索100-600范围内的过滤器数量，并探索0.0-0.5的dropout率。
• 探索使用tanh、relu和线性激活函数。

关键的警告是，这些发现基于使用单个句子作为输入的二元文本分类问题的经验结果。

我建议阅读全文以获取更多详细信息：

• 用于句子分类的卷积神经网络的敏感性分析（以及实践者指南）, 2015.

4. 考虑字符级CNN

可以使用卷积神经网络在字符级别对文本文档进行建模，这些网络能够学习单词、句子、段落等的相关分层结构。

Xiang Zhang 等人使用基于字符的文本表示作为卷积神经网络的输入。这种方法的优势在于，如果CNN能够学习抽象出显著细节，就可以克服清理和准备文本所需的所有耗时工作。

除了之前研究的结论，即ConvNets不需要语言的句法或语义结构知识外，深度ConvNets也不需要单词知识。这种工程上的简化对于能够适用于不同语言的单一系统来说至关重要，因为字符始终是必要的结构，无论是否可能进行分词。只处理字符还有一个优点，那就是可以自然地学习异常字符组合，例如拼写错误和表情符号。

—— 用于文本分类的字符级卷积网络，2015。

该模型读取固定大小字母表中的one-hot编码字符。编码字符以1,024个字符的块或序列读取。随后是6个卷积层和池化层的堆栈，以及网络输出端的3个全连接层，以进行预测。

用于文本分类的字符级卷积神经网络
选自《用于文本分类的字符级卷积网络》，2015年。

该模型取得了一些成功，在文本语料库较大的问题上表现更好。

…分析表明，字符级ConvNet是一种有效的方法。[…]我们的模型在比较中表现如何取决于许多因素，例如数据集大小、文本是否经过整理以及字母表的选择。

—— 用于文本分类的字符级卷积网络，2015。

使用这种方法的扩展版本的结果在下一节中讨论的后续论文中被推向了最先进水平。

5. 考虑更深的CNN用于分类

使用非常深的卷积神经网络可以获得更好的性能，尽管标准的、可重复使用的架构尚未被用于分类任务。

Alexis Conneau 等人评论了用于自然语言处理的相对较浅的网络，以及用于计算机视觉应用的更深网络所取得的成功。例如，Kim（上文）将模型限制为单个卷积层。

论文中回顾的用于自然语言的其他架构被限制在5到6层。这些与计算机视觉中使用的成功架构形成了对比，后者拥有19层甚至多达152层。

他们建议并证明，使用名为VDCNN的非常深的卷积神经网络模型进行分层特征学习具有优势。

…我们建议使用多达29层的深度卷积架构来达到这个目标。我们的架构设计灵感来自计算机视觉的最新进展 […] 所提出的深度卷积网络显示出比以前的ConvNets方法显著更好的结果。

他们方法的核心是对单个字符而不是词语进行嵌入。

我们提出了一种新的用于文本处理的架构（VDCNN），它直接在字符级别操作，并且只使用小的卷积和池化操作。

—— 用于文本分类的非常深的卷积网络，2016。

在撰写本文时，对8个大型文本分类任务套件的结果显示出比浅层网络更好的性能。具体来说，除了两个数据集之外，在所有测试数据集上都达到了最先进的结果。

总的来说，他们从探索更深层次的架构方法中得出了一些关键发现：

• 非常深的架构在小型和大型数据集上都表现良好。
• 更深的网络可以降低分类错误。
• 最大池化比其他更复杂的池化类型能取得更好的结果。
• 通常，更深的网络会降低准确性；架构中使用的快捷连接很重要。

……这是首次在自然语言处理中展示卷积神经网络的“深度优势”。

—— 用于文本分类的非常深的卷积网络，2016。

进一步阅读

如果您想深入了解此主题，本节提供了更多资源。

• 自然语言处理神经网络模型入门, 2015.
• 用于句子分类的卷积神经网络, 2014.
• （几乎）从零开始的自然语言处理, 2011.
• 用于文本分类的非常深的卷积网络, 2016.
• 用于文本分类的字符级卷积网络, 2015.
• 用于句子分类的卷积神经网络的敏感性分析（以及实践者指南）, 2015.

您是否遇到过关于深度学习文档分类的优秀资源？
在下面的评论中告诉我。

总结

在这篇文章中，您了解了开发用于文档分类的深度学习模型的一些最佳实践。

具体来说，你学到了：

• 文本分类的一个关键方法是使用词嵌入和卷积神经网络。
• 单层模型在中等规模问题上表现良好，并提供了如何配置它的思路。
• 直接处理文本的深度模型可能是自然语言处理的未来。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发文本数据的深度学习模型！

在几分钟内开发您自己的文本模型

...只需几行python代码

在我的新电子书中探索如何实现
用于自然语言处理的深度学习

它提供关于以下主题的自学教程：
词袋模型、词嵌入、语言模型、标题生成、文本翻译等等...

最终将深度学习应用于您的自然语言处理项目

跳过学术理论。只看结果。

查看内容