如何使用 Python 清理文本以进行机器学习

您无法直接从原始文本转到拟合机器学习或深度学习模型。

您必须先清理您的文本，这意味着将其拆分成单词并处理标点符号和大小写。

事实上，有一整套文本准备方法您可能需要使用，而方法的选择真正取决于您的自然语言处理任务。

在本教程中，您将了解如何清理和准备文本，以便使用机器学习进行建模。

完成本教程后，您将了解：

• 如何通过开发自己非常简单的文本清理工具来启动您的项目。
• 如何更进一步，使用 NLTK 库中更复杂的方法。
• 使用像词嵌入这样的现代文本表示方法时如何准备文本。

通过我的新书 《深度学习在自然语言处理中的应用》 开启您的项目，书中包含分步教程以及所有示例的Python 源代码文件。

让我们开始吧。

• 更新于 2017 年 11 月：修复了“拆分单词”部分的代码拼写错误，感谢 David Comfort。

如何开发用于时间序列预测的多层感知器模型
照片由 Bureau of Land Management 提供，部分权利保留。

教程概述

本教程分为6个部分；它们是

1. 弗兰茨·卡夫卡著《变形记》
2. 文本清理是特定于任务的
3. 手动分词
4. 使用 NLTK 进行分词和清理
5. 其他文本清理注意事项
6. 清理文本以用于词嵌入的技巧

弗兰茨·卡夫卡著《变形记》

让我们开始选择一个数据集。

在本教程中，我们将使用弗兰茨·卡夫卡（Franz Kafka）创作的《变形记》（Metamorphosis）一书中的文本。没有特别的原因，只是因为它很短，我喜欢它，您也可能喜欢。我猜这是大多数学生在学校里必须阅读的经典作品之一。

《变形记》的完整文本可从 Project Gutenberg 免费获取。

• Project Gutenberg 上的弗兰茨·卡夫卡《变形记》

您可以下载文本的 ASCII 版本，网址是：

• 弗兰茨·卡夫卡《变形记》纯文本 UTF-8（可能需要加载两次页面）。

下载文件并将其放入当前工作目录，文件名为“metamorphosis.txt”。

文件中包含我们不感兴趣的头部和尾部信息，特别是版权和许可信息。打开文件，删除头部和尾部信息，然后将文件另存为“metamorphosis_clean.txt”。

清理后的文件开头应如下所示：

一天早晨，格里高尔·萨姆沙从不安的睡梦中醒来，发现自己在床上变成了一只可怕的甲虫。

文件应以以下内容结尾：

仿佛是为了印证他们新的梦想和良好的意愿，他们一到达目的地，格蕾特就第一个站起来伸展了年轻的身体。

可怜的格里高尔……

文本清理是特定于任务的

在实际获取文本数据后，清理文本数据的第一个步骤是明确您想要实现的目标，并在此背景下审查您的文本，看看具体哪些内容可能有所帮助。

花点时间看看文本。您发现了什么？

这是我看到的：

• 它是纯文本，所以没有标记需要解析（太棒了！）。
• 原始德语的翻译使用了英式英语（例如，“travelling”）。
• 这些行是人为地以大约 70 个字符换行的（唉）。
• 没有明显的拼写错误。
• 有标点符号，如逗号、撇号、引号、问号等。
• 有连字符的描述，如“armour-like”。
• 大量使用破折号（“-”）来连接句子（也许可以替换成逗号？）。
• 有名字（例如，“Mr. Samsa”）。
• 似乎没有需要处理的数字（例如，1999）。
• 有章节标记（例如，“II”和“III”），我们已经移除了第一个“I”。

我相信对于训练有素的眼睛来说，还有很多其他的细节。

在本教程中，我们将介绍通用的文本清理步骤。

尽管如此，请考虑我们处理此文本文件时可能的一些可能目标。

例如

• 如果我们对开发一种“Kafkaesque”语言模型感兴趣，我们可能希望保留所有的大小写、引号和其他标点符号。
• 如果我们对将文档分类为“Kafka”和“Not Kafka”感兴趣，也许我们应该去除大小写、标点符号，甚至将单词缩减到词干。

使用您的任务作为选择如何准备文本数据的视角。

手动分词

文本清理很难，但我们选择处理的文本已经非常干净了。

我们可以编写一些 Python 代码手动清理它，这对于您遇到的简单问题来说是一个很好的练习。像正则表达式和字符串分割这样的工具可以帮助您走很长的路。

1. 加载数据

让我们加载文本数据以便我们可以处理它。

文本很小，可以快速轻松地加载到内存中。情况并非总是如此，您可能需要编写代码来内存映射文件。像 NLTK（在下一节介绍）这样的工具将使处理大文件更加容易。

我们可以将整个“metamorphosis_clean.txt”加载到内存中，如下所示：

运行示例将整个文件加载到内存中，准备好进行处理。

2. 按空格分割

清理文本通常意味着得到一个我们可以用于机器学习模型的单词或标记列表。

这意味着将原始文本转换为单词列表，然后再次保存。

一个非常简单的方法是按空格分割文档，包括“ ”、换行符、制表符等。我们可以使用 Python 中加载字符串的 split() 函数来完成。

运行示例，文档被分割成一个长单词列表，并打印出前 100 个供我们查看。

我们可以看到标点符号被保留（例如，“wasn’t”和“armour-like”），这很好。我们还可以看到句末标点符号与最后一个单词一起保留（例如，“thought.”），这不太理想。

3. 选择单词

另一种方法可能是使用正则表达式模型（re），通过选择字母数字字符（a-z、A-Z、0-9 和 ‘_’）的字符串来分割文档。

例如

同样，运行示例我们可以看到我们得到了单词列表。这次，我们可以看到“armour-like”变成了两个词“armour”和“like”（没问题），但像“What’s”这样的缩写词也变成了两个词“What”和“s”（不太理想）。

3. 按空格分割并移除标点符号

注意：此示例是为 Python 3 编写的。

我们可能需要单词，但不需要逗号和引号这样的标点符号。我们也想将缩写词保留在一起。

一种方法是将文档按空格分割成单词（如“2. 按空格分割”），然后使用字符串翻译将所有标点符号替换为空（例如，移除它们）。

Python 提供了一个名为 *string.punctuation* 的常量，它提供了一个很好的标点符号列表。例如：

结果如下：

Python 提供了一个名为 translate() 的函数，它可以将一组字符映射到另一组字符。

我们可以使用 maketrans() 函数创建一个映射表。我们可以创建一个空的映射表，但该函数的第三个参数允许我们列出在翻译过程中要删除的所有字符。例如：

我们可以将所有这些放在一起，加载文本文件，按空格将其分割成单词，然后翻译每个单词以移除标点符号。

我们可以看到这已经达到了预期的效果，大部分是。

像“What’s”这样的缩写词变成了“Whats”，而“armour-like”变成了“armourlike”。

如果您了解正则表达式，那么您就知道事情可能会变得很复杂。

4. 规范化大小写

通常需要将所有单词转换为一种大小写。

这意味着词汇量会缩小，但会丢失一些区别（例如，“Apple”公司与“apple”水果是一个常用的例子）。

我们可以通过对每个单词调用 lower() 函数将所有单词转换为小写。

例如

运行示例，我们可以看到所有单词现在都是小写了。

注意

清理文本确实很难，特定于问题，并且充满了权衡。

记住，简单就是最好。

更简单的文本数据、更简单的模型、更小的词汇量。您总是可以以后让事情变得更复杂，看看是否能提高模型的技能。

接下来，我们将看看 NLTK 库中的一些工具，它们提供的功能超出了简单的字符串分割。

使用 NLTK 进行分词和清理

自然语言工具包（Natural Language Toolkit），简称 NLTK，是一个用于处理和建模文本的 Python 库。

它提供了用于加载和清理文本的优秀工具，我们可以用这些工具来准备数据，以便与机器学习和深度学习算法一起使用。

1. 安装 NLTK

您可以使用您喜欢的包管理器（如 pip）来安装 NLTK。

安装后，您需要安装该库使用的数据，包括一套非常棒的文档，您以后可以用它来测试 NLTK 中的其他工具。

有几种方法可以做到这一点，例如从脚本中操作：

或者从命令行操作：

有关安装和设置 NLTK 的更多帮助，请参阅：

• 安装 NLTK
• 安装 NLTK 数据

2. 分割成句子

一个好的有用第一步是将文本分割成句子。

某些建模任务偏好以段落或句子的形式输入，例如 word2vec。您可以先将文本分割成句子，将每个句子分割成单词，然后将每个句子保存到文件中，每行一个。

NLTK 提供了 sent_tokenize() 函数来将文本分割成句子。

下面的示例将“metamorphosis_clean.txt”文件加载到内存中，将其分割成句子，并打印第一个句子。

运行示例，我们可以看到，尽管文档被分割成了句子，但每个句子仍然保留了原始文档中行的人工换行。

一天早晨，格里高尔·萨姆沙从不安的睡梦中醒来，发现
自己在床上变成了一只可怕的甲虫。

3. 分割成单词

NLTK 提供了一个名为 word_tokenize() 的函数，用于将字符串分割成标记（名义上是单词）。

它根据空格和标点符号分割标记。例如，逗号和句点被视为单独的标记。缩写词被分开（例如，“What’s”变成“What” “‘s”）。引号被保留，等等。

例如

运行代码，我们可以看到标点符号现在是标记，我们可以稍后选择专门过滤掉它们。

4. 过滤掉标点符号

我们可以过滤掉所有我们不感兴趣的标记，例如所有独立的标点符号。

这可以通过迭代所有标记并仅保留所有是字母的标记来完成。Python 有一个 isalpha() 函数可以使用。例如：

运行示例，您可以看到不仅标点符号标记被移除了，像“armour-like”和“‘s”这样的例子也被过滤掉了。

5. 过滤掉停用词（和管道）

停用词是那些对短语的深层含义没有贡献的词。

它们是最常见的词，例如：“the”、“a”和“is”。

对于文档分类等一些应用，移除停用词可能是有意义的。

NLTK 提供了多种语言（如英语）的常用停用词列表。它们可以如下加载：

您可以通过以下方式查看完整列表：

您可以看到它们都是小写并且已经移除了标点符号。

您可以将您的标记与停用词进行比较并过滤掉它们，但您必须确保您的文本经过了相同的预处理。

让我们通过一个简单的文本预处理管道来演示这一点，包括：

1. 加载原始文本。
2. 分割成标记。
3. 转换为小写。
4. 从每个标记中移除标点符号。
5. 过滤掉剩余的非字母标记。
6. 过滤掉停用词标记。

运行此示例，我们可以看到除了所有其他转换之外，像“a”和“to”这样的停用词也被移除了。

我注意到我们仍然剩下像“nt”这样的标记。这个兔子洞很深；总有更多的事情可以做。

6. 词干提取

词干提取是指将每个单词还原为其词根或基本形式的过程。

例如，“fishing”、“fished”、“fisher”都还原为词干“fish”。

某些应用，例如文档分类，可以通过词干提取来减小词汇量，并侧重于文档的意义或情感，而不是深层含义。

有许多词干提取算法，其中一种流行且历史悠久的算法是 Porter 词干提取算法。这种方法可以通过 NLTK 中的 PorterStemmer 类来使用。

例如

运行示例，您可以看到单词已被简化为其词干，例如“trouble”变成了“troubl”。您还可以看到，词干提取实现还将标记转换为小写，这可能是为了在单词表中进行内部查找。

您还可以看到，词干提取实现还将标记转换为小写，这可能是为了在单词表中进行内部查找。

如果您需要将单词还原为其词根，NLTK 中有许多不错的词干提取和词形还原算法可供选择。

其他文本清理注意事项

我们才刚刚开始。

由于本教程的源文本一开始就相对干净，我们跳过了文本清理中您可能需要在自己的项目中处理的许多问题。

以下是清理文本时需要考虑的其他事项的简短列表

• 处理不适合放入内存的大文档和大量文本文档。
• 从 HTML、PDF 或其他结构化文档格式的标记中提取文本。
• 将其他语言的字符音译成英语。
• 将 Unicode 字符解码为规范化形式，例如 UTF8。
• 处理特定领域的词语、短语和首字母缩略词。
• 处理或删除数字，例如日期和金额。
• 定位并更正常见的拼写错误和拼写错误。
• …

这个列表还可以继续。

希望您能看到，要获得真正干净的文本是不可能的，我们只是根据时间和资源，尽我们所能。

“干净”这个概念实际上取决于您项目的特定任务或关注点。

一个窍门是，在每次转换后不断审查您的标记。我在这本教程中试图展示这一点，希望您能牢记在心。

理想情况下，您应该在每次转换后保存一个新文件，这样您就可以花时间处理新形式的所有数据。当您花时间审查数据时，总会有一些问题会浮现出来。

您以前做过文本清理吗？您首选的转换流程是什么？
在下面的评论中告诉我。

清理文本以用于词嵌入的技巧

最近，自然语言处理领域已从词袋模型和词嵌入转向词嵌入。

词嵌入的好处在于，它们将每个词编码为一个密集向量，该向量捕获了其在训练文本中相对含义的某些信息。

这意味着诸如大小写、拼写、标点符号等单词的变体将在嵌入空间中自动被学习为相似的。反过来，这可能意味着您的文本所需的清理量可能更少，甚至与传统的文本清理完全不同。

例如，对缩略语进行词干提取或删除标点符号可能不再有意义。

Tomas Mikolov 是 word2vec（一种流行的词嵌入方法）的开发者之一。他建议在学习词嵌入模型时只需进行极少的文本清理。

以下是他被问及如何最好地为 word2vec 准备文本数据时的回答。

没有通用的答案。这取决于您打算如何使用这些向量。根据我的经验，通常最好断开（或删除）单词中的标点符号，有时也将其所有字符转换为小写。还可以将所有数字（可能大于某个常数）替换为单个标记，例如“.”。

所有这些预处理步骤都旨在减小词汇量，同时不删除任何重要内容（在某些情况下，例如小写某些单词时，这可能不正确，例如“Bush”与“bush”不同，而“Another”通常与“another”具有相同的含义）。词汇量越小，内存复杂度就越低，单词的参数估计也就越稳健。您还必须以相同的方式预处理测试数据。

…

总之，如果您进行实验，您将更好地理解这一切。

在 Google Groups 上阅读完整讨论串.

进一步阅读

如果您想深入了解此主题，本节提供了更多资源。

• Project Gutenberg 上的弗兰茨·卡夫卡《变形记》
• nltk.tokenize 包 API
• nltk.stem 包 API
• 第 3 章：处理原始文本，《Python 自然语言处理》

总结

在本教程中，您学习了如何使用 Python 清理文本以用于机器学习。

具体来说，你学到了：

• 如何通过开发自己非常简单的文本清理工具来启动您的项目。
• 如何更进一步，使用 NLTK 库中更复杂的方法。
• 使用像词嵌入这样的现代文本表示方法时如何准备文本。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

您有清理文本的经验吗？
请在下面的评论中分享您的经验。

立即开发文本数据的深度学习模型！

在几分钟内开发您自己的文本模型

...只需几行python代码

在我的新电子书中探索如何实现
用于自然语言处理的深度学习

它提供关于以下主题的自学教程：
词袋模型、词嵌入、语言模型、标题生成、文本翻译等等...

最终将深度学习应用于您的自然语言处理项目

跳过学术理论。只看结果。

查看内容