深度学习在自然语言处理中的 7 个应用

自然语言处理领域正从统计方法转向神经网络方法。

在自然语言中仍有许多具有挑战性的问题需要解决。然而，深度学习方法在某些特定的语言问题上取得了最先进的结果。

最有趣的不只是深度学习模型在基准问题上的表现；更重要的是，一个单一的模型可以学习词义并执行语言任务，从而无需一系列专门的手工方法。

在这篇文章中，您将发现深度学习方法在7个有趣的自然语言处理任务中取得了一些进展。

通过我的新书《深度学习在自然语言处理中的应用》启动您的项目，其中包括逐步教程和所有示例的Python源代码文件。

让我们开始吧。

深度学习在自然语言处理中的 7 个应用
图片由Tim Gorman拍摄，部分权利保留。

概述

在这篇文章中，我们将探讨以下7个自然语言处理问题。

1. 文本分类
2. 语言建模
3. 语音识别
4. 字幕生成
5. 机器翻译
6. 文档摘要
7. 问答

我尽量专注于您可能感兴趣的终端用户问题类型，而不是深度学习在诸如词性标注、短语块分析、命名实体识别等学术或语言学子问题上的出色表现。

每个例子都提供了问题的描述、一个示例以及演示方法和结果的参考文献。大多数参考文献引自Goldberg在2015年为NLP研究人员撰写的优秀深度学习入门指南。

您是否有未列出的深度学习NLP最喜欢的应用？
在下面的评论中告诉我。

1. 文本分类

给定一段文本示例，预测预定义的类别标签。

文本分类的目标是给文档的主题或类别进行分类。

——第575页，《统计自然语言处理基础》，1999年。

一个流行的分类例子是情感分析，其中类别标签表示源文本的情感基调，如“积极”或“消极”。

以下是另外3个例子：

• 垃圾邮件过滤，将电子邮件文本分类为垃圾邮件或非垃圾邮件。
• 语言识别，分类源文本的语言。
• 体裁分类，分类虚构故事的体裁。

此外，问题可能被框架为需要为文本分配多个类别，即所谓的多标签分类。例如为源推文预测多个标签。

有关此一般主题的更多信息，请参阅

• Scholarpedia上的文本分类
• 维基百科上的文档分类

以下是3篇关于文本分类深度学习论文的例子

• 烂番茄电影评论的情感分析。
  • 深度无序组合与句法方法在文本分类中的竞争, 2015.
• 亚马逊产品评论、IMDB电影评论的情感分析以及新闻文章的主题分类。
  • 卷积神经网络有效利用词序进行文本分类, 2015.
• 电影评论情感分析，将句子分类为主观或客观，分类问题类型，产品评论情感等等。
  • 用于句子分类的卷积神经网络, 2014.

2. 语言模型

语言建模实际上是更有趣的自然语言问题的子任务，特别是那些以某种其他输入为条件的语言模型。

…问题是根据前面的词预测下一个词。这项任务是语音或光学字符识别的基础，也用于拼写校正、手写识别和统计机器翻译。

——第191页，《统计自然语言处理基础》，1999年。

除了语言建模的学术兴趣外，它还是许多深度学习自然语言处理架构的关键组成部分。

语言模型学习词语之间的概率关系，从而可以生成与源文本在统计上一致的新词语序列。

单独而言，语言模型可用于文本或语音生成；例如：

• 生成新的文章标题。
• 生成新的句子、段落或文档。
• 生成句子的建议续写。

更多关于语言模型的信息，请参阅：

• 维基百科上的语言模型
• 循环神经网络的不可思议的有效性, 2015.
• 基于生成模型的文本到语音合成，牛津大学，2017年第10讲

以下是深度学习用于语言建模（仅此一项）的一个例子

• 英语文本、书籍和新闻文章的语言模型。
  • 一个神经概率语言模型, 2003

3. 语音识别

语音识别是理解所说内容的问题。

语音识别的任务是将包含口语自然语言语音的声学信号映射到说话者意图的相应词序列。

——第458页，《深度学习》，2016年。

给定作为音频数据的文本语音，模型必须生成人类可读的文本。

由于该过程的自动化性质，该问题也可能被称为自动语音识别（ASR）。

语言模型用于创建以音频数据为条件的文本输出。

一些例子包括：

• 转录演讲。
• 为电影或电视节目制作文本字幕。
• 在驾驶时向收音机发出指令。

更多关于语音识别的信息，请参阅：

• 维基百科上的语音识别

以下是深度学习在语音识别方面的3个例子。

• 英语语音转文本。
  • 连接主义时间分类：用循环神经网络对未分割序列数据进行标注, 2006.
• 英语语音转文本。
  • 深度循环神经网络的语音识别, 2013.
• 英语语音转文本。
  • 探索用于语音识别的卷积神经网络结构和优化技术, 2014.

4. 字幕生成

字幕生成是描述图像内容的问题。

给定一张数码图像，例如照片，生成对图像内容的文本描述。

语言模型用于创建以图像为条件的字幕。

一些例子包括：

• 描述场景内容。
• 为照片创建字幕。
• 描述视频。

这不仅是为听力障碍者提供的应用，也是为图像和视频数据生成可搜索的人类可读文本的应用，例如在网络上。

以下是深度学习用于字幕生成的3个例子：

• 为照片生成字幕。
  • 展示、关注和讲述：带视觉注意力的神经图像标题生成, 2016.
• 为照片生成字幕。
  • 展示与讲述：一个神经图像字幕生成器, 2015.
• 为视频生成字幕。
  • 序列到序列——视频到文本, 2015.

5. 机器翻译

机器翻译是将一种语言的源文本转换为另一种语言的问题。

机器翻译，即文本或语音从一种语言到另一种语言的自动翻译，是自然语言处理最重要的应用之一。

——第463页，《统计自然语言处理基础》，1999年。

鉴于使用深度神经网络，该领域被称为神经机器翻译。

在机器翻译任务中，输入已经包含某种语言的符号序列，计算机程序必须将其转换为另一种语言的符号序列。这通常应用于自然语言，例如从英语翻译到法语。深度学习最近开始对这类任务产生重要影响。

——第98页，《深度学习》，2016年。

语言模型用于输出第二语言中的目标文本，以源文本为条件。

一些例子包括：

• 将法文文档翻译成英文。
• 将西班牙语音频翻译成德语文本。
• 将英文文本翻译成意大利语音频。

更多关于神经机器翻译的信息，请参阅

• 维基百科上的神经机器翻译

以下是深度学习用于机器翻译的3个例子

• 将文本从英语翻译成法语。
  • 使用神经网络进行序列到序列学习, 2014.
• 将文本从英语翻译成法语。
  • 通过联合学习对齐和翻译的神经机器翻译, 2014.
• 将文本从英语翻译成法语。
  • 利用循环神经网络进行联合语言和翻译建模, 2013.

6. 文档摘要

文档摘要是创建文本文档简短描述的任务。

如上所述，语言模型用于输出以完整文档为条件的摘要。

文档摘要的一些例子包括：

• 为文档创建标题。
• 为文档创建摘要。

更多关于该主题的信息，请参阅

• 维基百科上的自动摘要.
• 深度学习是否（成功）应用于自动文本摘要？

以下是深度学习用于文档摘要的3个例子

• 新闻文章中句子的摘要。
  • 用于抽象摘要的神经注意力模型, 2015.
• 新闻文章中句子的摘要。
  • 使用序列到序列 RNN 的抽象文本摘要及其他, 2016.
• 新闻文章中句子的摘要。
  • 通过提取句子和单词进行神经摘要, 2016.

7. 问答

问答是这样一个问题：给定一个主题，例如一份文本文档，回答关于该主题的特定问题。

……问答系统试图通过返回适当的名词短语（如地点、人物或日期）来回答用户以问题形式提出的查询。例如，问题“谁杀害了肯尼迪总统？”可能被回答为名词短语“奥斯瓦尔德”。

——第377页，《统计自然语言处理基础》，1999年。

一些例子包括：

• 维基百科上的问答

有关问答的更多信息，请参阅

• 回答关于维基百科文章的问题。
• 回答关于新闻文章的问题。
• 回答关于医疗记录的问题。

以下是深度学习问答的3个例子

• 回答关于新闻文章的问题。
  • 教机器阅读和理解, 2015.
• 回答Freebase文章中的一般知识问题。
  • 使用多列卷积神经网络在Freebase上进行问答, 2015.
• 回答给定特定文档的事实性问题。
  • 深度学习在答案句子选择中的应用, 2015.

进一步阅读

本节提供了更多关于NLP深度学习应用的资源，如果您想深入了解。

• 自然语言处理神经网络模型入门, 2015.
• 自然语言处理（几乎）从零开始, 2011.
• 深度学习应用于自然语言处理，实践概述，牛津大学，2017年
• 深度学习或神经网络成功应用于哪些NLP问题？
• 深度学习能否像在视觉和语音领域那样在自然语言处理领域取得类似的突破？

总结

在这篇文章中，您发现了深度学习应用于自然语言处理任务的7个方面。

您最喜欢的深度学习NLP示例是否遗漏了？
请在评论中告诉我。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发文本数据的深度学习模型！

在几分钟内开发您自己的文本模型

...只需几行python代码

在我的新电子书中探索如何实现
用于自然语言处理的深度学习

它提供关于以下主题的自学教程：
词袋模型、词嵌入、语言模型、标题生成、文本翻译等等...

最终将深度学习应用于您的自然语言处理项目

跳过学术理论。只看结果。

查看内容