如何为 Keras 深度学习准备文本数据

您无法将原始文本直接输入深度学习模型。

文本数据必须编码为数字，才能用作机器学习和深度学习模型的输入或输出。

Keras 深度学习库提供了一些基本工具来帮助您准备文本数据。

在本教程中，您将了解如何使用 Keras 准备文本数据。

完成本教程后，您将了解：

• 关于可用于快速准备文本数据的便捷方法。
• Tokenizer API，可以根据训练数据进行拟合，并用于对训练、验证和测试文档进行编码。
• Tokenizer API 提供的 4 种不同文档编码方案的范围。

开始您的项目，阅读我的新书《自然语言处理深度学习》，其中包含分步教程和所有示例的Python 源代码文件。

让我们开始吧。

如何为 Keras 深度学习准备文本数据
照片由 ActiveSteve 拍摄，保留部分权利。

教程概述

本教程分为4个部分，它们是：

1. 使用 text_to_word_sequence 分词。
2. 使用 one_hot 进行编码。
3. 使用 hashing_trick 进行哈希编码。
4. Tokenizer API

使用 text_to_word_sequence 分词

处理文本的第一步是将其分解为单词。

单词称为标记（token），将文本分解为标记的过程称为分词（tokenization）。

Keras 提供了 text_to_word_sequence() 函数，可用于将文本分解为单词列表。

默认情况下，此函数会自动执行 3 项操作：

• 按空格分词（split=” “）。
• 过滤标点符号（filters=’!”#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n’）。
• 将文本转换为小写（lower=True）。

您可以通过将参数传递给函数来更改任何这些默认设置。

以下是使用 text_to_word_sequence() 函数将文档（本例中为简单字符串）分解为单词列表的示例。

运行示例将创建一个包含文档中所有单词的数组。将打印单词列表以供查看。

这是一个很好的第一步，但在使用文本之前还需要进一步的预处理。

使用 one_hot 进行编码

将文档表示为一系列整数值是一个常见的做法，其中文档中的每个单词都表示为一个唯一的整数。

Keras 提供了 one_hot() 函数，可用于一步对文本文档进行分词和整数编码。名称表明它将创建一个文档的独热编码，但事实并非如此。

相反，该函数是下一节所述的 hashing_trick() 函数的包装器。该函数返回文档的整数编码版本。由于使用了哈希函数，可能会发生冲突，并非所有单词都会被分配唯一的整数值。

与上一节的 text_to_word_sequence() 函数一样，one_hot() 函数会将文本转换为小写、过滤标点符号，并根据空格分词。

除了文本之外，还必须指定词汇量大小（总单词数）。这可以是文档中的总单词数，也可以更多，如果您打算对包含其他单词的其他文档进行编码。词汇量的大小定义了哈希函数从哪个空间中哈希单词。理想情况下，这应该比词汇量大一些（例如 25%）以尽量减少冲突的数量。默认情况下，会使用“hash”函数，尽管如下一节所示，在直接调用 hashing_trick() 函数时可以指定备用的哈希函数。

我们可以使用上一节的 text_to_word_sequence() 函数将文档分解为单词，然后使用集合来表示文档中唯一的单词。该集合的大小可用于估算单个文档的词汇量大小。

例如

我们可以将此与 one_hot() 函数结合起来，并对文档中的单词进行独热编码。完整的示例列在下面。

词汇量大小增加了三分之一，以最大程度地减少哈希单词时的冲突。

运行示例后，首先打印词汇量大小为 8。然后将编码后的文档作为整数编码单词的数组打印出来。

使用 hashing_trick 进行哈希编码

整数和计数基编码的一个限制是它们必须维护单词及其到整数的映射的词汇表。

这种方法的一种替代方法是使用单向哈希函数将单词转换为整数。这避免了跟踪词汇表的需要，速度更快，所需的内存更少。

Keras 提供了 hashing_trick() 函数，该函数可以像 one_hot() 函数一样对文档进行分词和整数编码。它提供了更大的灵活性，允许您将哈希函数指定为“hash”（默认值）或其他哈希函数，例如内置的 md5 函数或您自己的函数。

下面是使用 md5 哈希函数对文档进行整数编码的示例。

运行示例将打印词汇量大小和整数编码的文档。

我们可以看到，使用不同的哈希函数会导致与上一节的 one_hot() 函数一致但不同的单词整数。

Tokenizer API

到目前为止，我们已经研究了 Keras 中用于准备文本的单次便捷方法。

Keras 提供了一个更复杂的 API 来准备文本，该 API 可以进行拟合并重复使用以准备多个文本文档。对于大型项目，这可能是首选方法。

Keras 提供了 Tokenizer 类 来为深度学习准备文本文档。Tokenizer 必须进行实例化，然后根据原始文本文档或整数编码的文本文档进行拟合。

例如

拟合后，Tokenizer 提供 4 个属性，可用于查询有关文档的学习内容：

• word_counts：一个包含单词及其计数的字典。
• word_docs：一个包含单词以及每个单词出现在多少文档中的字典。
• word_index：一个包含单词及其唯一分配的整数的字典。
• document_count：一个用于对拟合 Tokenizer 的文档总数进行计数的整数。

例如

在 Tokenizer 拟合训练数据后，可用于编码训练集或测试集中的文档。

Tokenizer 上的 texts_to_matrix() 函数可用于为每个输入文档创建向量。向量的长度是词汇表总大小。

此函数提供了一套标准的词袋模型文本编码方案，可通过 mode 参数传递给函数。

可用的模式包括：

• ‘binary’：每个单词是否存在于文档中。这是默认设置。
• ‘count’：文档中每个单词的计数。
• ‘tfidf’：文档中每个单词的词频-逆文档频率 (TF-IDF) 分数。
• ‘freq’：每个单词的频率，作为单词在每个文档中的比例。

我们可以将所有这些内容与一个实际示例结合起来。

运行示例将使用 5 个小型文档拟合 Tokenizer。将打印拟合 Tokenizer 的详细信息。然后使用单词计数对 5 个文档进行编码。

每个文档都编码为一个 9 元素向量，其中每个单词都有一个位置，并为每个单词位置使用选定的编码方案值。在此示例中，使用了简单的单词计数模式。

进一步阅读

如果您想深入了解此主题，本节提供了更多资源。

• Keras 文本预处理 API
• text_to_word_sequence Keras API
• one_hot Keras API
• hashing_trick Keras API
• 分词器 Keras API

总结

在本教程中，您了解了如何使用 Keras API 为深度学习准备文本数据。

具体来说，你学到了：

• 关于可用于快速准备文本数据的便捷方法。
• Tokenizer API，可以根据训练数据进行拟合，并用于对训练、验证和测试文档进行编码。
• Tokenizer API 提供的 4 种不同文档编码方案的范围。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发文本数据的深度学习模型！

在几分钟内开发您自己的文本模型

...只需几行python代码

在我的新电子书中探索如何实现
用于自然语言处理的深度学习

它提供关于以下主题的自学教程：
词袋模型、词嵌入、语言模型、标题生成、文本翻译等等...

最终将深度学习应用于您的自然语言处理项目

跳过学术理论。只看结果。

查看内容