如何开发词级神经语言模型并用它来生成文本

一个语言模型可以根据序列中已观察到的单词来预测序列中下一个单词的概率。

神经网络模型是开发统计语言模型的首选方法，因为它们可以使用分布式表示，其中具有相似含义的不同单词具有相似的表示，并且在进行预测时可以使用大量最近观察到的单词的上下文。

在本教程中，您将了解如何使用Python中的深度学习开发统计语言模型。

完成本教程后，您将了解：

• 如何为开发基于单词的语言模型准备文本。
• 如何设计和拟合带有学习到的嵌入层和LSTM隐藏层的神经网络语言模型。
• 如何使用学习到的语言模型生成具有与源文本相似统计特性的新文本。

立即开始您的项目，阅读我的新书《自然语言处理深度学习》，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

• 更新于2018年4月：模型描述中的类型已修复
• 更新于2020年5月：模型期望中的拼写错误已修复。

如何开发词级神经语言模型并用它来生成文本
照片由Carlo Raso拍摄，部分权利保留。

教程概述

本教程分为4个部分，它们是：

1. 柏拉图的《理想国》
2. 数据准备
3. 训练语言模型
4. 使用语言模型

柏拉图的《理想国》

《理想国》是古希腊哲学家柏拉图最著名的著作。

它被组织成一次关于城邦秩序和正义的对话（例如，谈话）。

全书文本均可在公共领域免费获取。您可以在Project Gutenberg网站上以多种格式找到它。

您可以在此处下载整本书（或多本书）的ASCII文本版本

• 下载柏拉图的《理想国》（republic.txt）

下载书籍文本并将其以文件名“republic.txt”保存在当前工作目录中。

在文本编辑器中打开文件，并删除开头和结尾的附加内容。这包括书本开头的信息、长篇分析和结尾的许可信息。

文本应以以下内容开头：

第一卷。

昨天我和阿里斯顿的儿子格劳康一起去了比雷埃夫斯，
…

并以以下内容结尾：

…
我们两人都将在这一生和我们所描述的一千年朝圣中一切安好。

这是干净数据文件的直接链接

• 下载柏拉图的《理想国》（republic_clean.txt）

将清理后的版本另存为当前工作目录中的“republic_clean.txt”。文件应包含约15,802行文本。

现在我们可以从这些文本中开发一个语言模型了。

数据准备

我们将从准备数据开始。

第一步是查看数据。

回顾文本

在编辑器中打开文本，然后查看文本数据。

例如，这是第一段对话：

第一卷。

昨天我和阿里斯顿的儿子格劳康一起去了比雷埃夫斯，
我可以向女神（色雷斯人
阿耳忒弥斯）祈祷；而且我还想看看他们将如何
庆祝这个新颖的节日。我对居民们的游行感到很高兴；
但色雷斯人的游行同样，
如果不是更美的话。当我们完成了祈祷并观看了
景观后，我们转向城市的方向；就在那一刻
塞法洛斯的儿子波勒马尔科斯碰巧从远处看见我们，
当时我们正要回家，并告诉他的仆人去
跑过来叫我们等他。那仆人抓住了我的斗篷
后面，说：波勒马尔科斯要你等一下。

我转过身，问他他的主人在哪里。

他说，年轻人，如果你等着，他就在你身后。

当然我们会等，格劳康说；几分钟后波勒马尔科斯
出现了，还有格劳康的兄弟阿德曼托斯，尼基亚斯
的儿子尼塞拉图斯，以及其他一些参加了游行的人。

波勒马尔科斯对我说：我看到，苏格拉底，你和你的
同伴已经要去城里了。

我说，你没说错。

…

在准备数据时，我们看到什么需要处理？

快速浏览一下，我看到了这些：

• 书籍/章节标题（例如，“第一卷”）。
• 英式拼写（例如，“honoured”）。
• 大量标点符号（例如，“–”，“;–”，“?–”等等）。
• 奇怪的名字（例如，“Polemarchus”）。
• 一些持续数百行的长独白。
• 一些引用的对话（例如，“……”）。

这些观察以及更多内容，都为我们如何准备文本数据提供了一些思路。

我们准备数据的具体方式确实取决于我们打算如何建模，而这又取决于我们打算如何使用它。

语言模型设计

在本教程中，我们将开发一个文本模型，然后用它来生成新的文本序列。

该语言模型将是统计性的，并且将根据文本的输入序列预测每个单词的概率。预测的单词将作为输入，以生成下一个单词。

一个关键的设计决策是输入序列的长度。它们需要足够长，以便模型能够学习单词的上下文以进行预测。这个输入长度也将定义我们使用模型生成新序列时使用的种子文本的长度。

没有正确答案。如果有足够的时间和资源，我们可以探索模型使用不同大小输入序列学习的能力。

相反，我们将输入序列的长度任意选择为50个单词。

我们可以处理数据，以便模型仅处理独立的句子，并填充或截断文本以满足每个输入序列的要求。您可以将此作为本教程的扩展来探索。

相反，为了保持示例简短，我们将让所有文本连贯地流动，并训练模型来预测跨越句子、段落甚至书籍或章节的下一个单词。

现在我们有了模型设计，我们可以着手将原始文本转换为50个输入单词到1个输出单词的序列，准备好拟合模型。

加载文本

第一步是将文本加载到内存中。

我们可以开发一个小型函数，将整个文本文件加载到内存中并返回。该函数名为load_doc()，如下所示。给定一个文件名，它返回加载的文本序列。

使用此函数，我们可以加载文件‘republic_clean.txt’中文档的清理版本，如下所示：

运行此片段会加载文档，并打印前200个字符作为初步检查。

第一卷。

昨天我和阿里斯顿的儿子格劳康一起去了比雷埃夫斯，
我可以向女神（色雷斯人
阿耳忒弥斯）；而且我还想看看如何

到目前为止，一切顺利。接下来，让我们清理文本。

清理文本

我们需要将原始文本转换为标记或单词序列，作为训练模型的来源。

根据对原始文本的审查（见上文），以下是我们为清理文本将执行的一些具体操作。您可能想作为扩展来探索更多清理操作。

• 将‘–’替换为空格，以便我们能更好地分割单词。
• 按空格分割单词。
• 删除单词中的所有标点符号以减小词汇量（例如，“What?”变为“What”）。
• 删除所有非字母单词，以移除独立的标点符号标记。
• 将所有单词标准化为小写，以减小词汇量。

词汇量大小对于语言模型来说很重要。更小的词汇量意味着模型更小，训练速度更快。

我们可以在函数中按此顺序实现这些清理操作。下面是clean_doc()函数，它以加载的文档作为参数，并返回一个清理过的标记数组。

我们可以对加载的文档运行此清理操作，并打印一些标记和统计信息作为初步检查。

首先，我们可以看到一列不错的标记，它们看起来比原始文本更干净。我们可以删除“Book I”章节标记等内容，但这只是一个好的开始。

我们还获得了一些关于清理后文档的统计数据。

我们可以看到，清理后的文本中有近12万个单词，词汇量不足7500个单词。这相对较小，在适度的硬件上，可以处理在这个数据上拟合的模型。

接下来，我们可以将标记整理成序列并保存到文件中。

保存清理后的文本

我们可以将长长的标记列表组织成50个输入单词和1个输出单词的序列。

也就是说，序列的长度为51个单词。

我们可以通过从第51个标记开始迭代标记列表，并将前面的50个标记作为序列来做到这一点，然后重复这个过程直到列表的末尾。

我们将把标记转换为空格分隔的字符串，以便稍后存储在文件中。

下面列出了将清理后的标记列表分割成长度为51个标记的序列的代码。

运行这段代码会创建一个长长的行列表。

打印列表的统计信息，我们可以看到我们将有118,633个训练样本来拟合模型。

接下来，我们可以将序列保存到新文件中以供以后加载。

我们可以定义一个新函数来将文本行保存到文件。这个新函数名为save_doc()，如下所示。它接受行列表和文件名作为输入。这些行以ASCII格式逐行写入。

我们可以调用此函数并将我们的训练序列保存到文件‘republic_sequences.txt’。

用文本编辑器查看文件。

您会发现，每一行都向前移动了一个单词，末尾添加了一个新单词来预测；例如，这里是截断后的前3行：

book i i … catch sight of
i i went … sight of us
i went down … of us from
…

完整示例

将所有这些结合起来，完整的代码清单如下所示。

现在，您的当前工作目录中应该已经有一个名为“republic_sequences.txt”的文件，其中存储了训练数据。

接下来，让我们看看如何拟合语言模型。

训练语言模型

我们现在可以从准备好的数据中训练一个统计语言模型。

我们将训练的模型是一个神经网络语言模型。它有几个独特的特征：

• 它为单词使用分布式表示，因此具有相似含义的不同单词将具有相似的表示。
• 它在学习模型的同时学习表示。
• 它学会利用最近100个单词的上下文来预测下一个单词的概率。

具体来说，我们将使用Embedding Layer来学习单词的表示，并使用长短期记忆（LSTM）循环神经网络来学习根据上下文预测单词。

让我们从加载训练数据开始。

加载序列

我们可以使用我们在上一节中开发的load_doc()函数来加载训练数据。

加载后，我们可以通过按换行符分割数据来将数据分成独立的训练序列。

下面的片段将从当前工作目录加载“republic_sequences.txt”数据文件。

接下来，我们可以对训练数据进行编码。

编码序列

词嵌入层期望输入序列由整数组成。

我们可以将词汇表中的每个单词映射到一个唯一的整数，并对输入序列进行编码。稍后，当我们进行预测时，我们可以将预测转换为数字，并在相同的映射中查找其关联的单词。

为了实现这种编码，我们将使用Keras API中的Tokenizer类。

首先，必须在整个训练数据集上训练Tokenizer，这意味着它会找到数据中的所有唯一单词，并为每个单词分配一个唯一的整数。

然后，我们可以使用训练好的Tokenizer对所有训练序列进行编码，将每个序列从单词列表转换为整数列表。

我们可以将单词到整数的映射作为字典属性`word_index`访问，它在Tokenizer对象上。

我们需要知道词汇量的大小，以便稍后定义嵌入层。我们可以通过计算映射字典的大小来确定词汇量。

单词被分配从1到单词总数（例如，7,409）的值。嵌入层需要为这个词汇表中从索引1到最大索引的每个单词分配一个向量表示，并且因为数组的索引是零偏移的，所以词汇表中最后一个单词的索引将是7,409；这意味着数组的长度必须是7,409 + 1。

因此，在为嵌入层指定词汇量大小时，我们指定的值比实际词汇量大1。

序列输入和输出

现在我们已经对输入序列进行了编码，我们需要将它们分离成输入（X）和输出（y）元素。

我们可以通过数组切片来实现这一点。

分离后，我们需要对输出单词进行独热编码。这意味着将其从一个整数转换为一个向量，其中包含词汇表中每个单词的0值，以及一个1来指示在单词整数值索引处出现的特定单词。

这样，模型就可以学习预测下一个单词的概率分布，并且可以从（除了实际下一个单词之外的所有单词为0的）目标值中学习。

Keras提供了to_categorical()函数，可以用来对每个输入-输出序列对的输出单词进行独热编码。

最后，我们需要向嵌入层指定输入序列的长度。我们知道长度是50个单词，因为我们设计了模型，但一个好的通用方法是使用输入数据形状的第二个维度（列数）。这样，如果您在准备数据时更改序列的长度，您就不需要更改此数据加载代码；它是通用的。

拟合模型

现在我们可以定义我们的语言模型并在训练数据上进行拟合。

学习到的嵌入需要知道词汇量的大小和输入序列的长度，如前所述。它还有一个参数可以指定用于表示每个单词的维度数量。也就是说，嵌入向量空间的大小。

常见的值是50、100和300。我们将使用50，但可以考虑测试更小或更大的值。

我们将使用两个LSTM隐藏层，每个隐藏层有100个记忆单元。更多的记忆单元和更深的网络可能会获得更好的结果。

一个具有100个神经元的密集全连接层连接到LSTM隐藏层，以解释从序列中提取的特征。输出层将下一个单词预测为与词汇量大小相同的单个向量，其中包含词汇表中每个单词的概率。使用softmax激活函数来确保输出具有归一化概率的特性。

网络定义的摘要被打印出来，作为初步检查，以确保我们构建了我们想要的东西。

接下来，模型被编译，指定了拟合模型所需的分类交叉熵损失。从技术上讲，模型正在学习多类分类，这是此类问题的合适损失函数。使用了高效的Adam实现来最小批量梯度下降，并评估了模型的准确性。

最后，模型在数据上训练100个训练周期，并使用了适度的128个批次大小来加速。

使用现代硬件（无GPU）进行训练可能需要几个小时。您可以通过更大的批次大小和/或更少的训练周期来加速它。

在训练过程中，您将看到性能摘要，包括每个批次更新结束时从训练数据中评估出的损失和准确率。

注意：由于算法或评估程序的随机性，或数值精度的差异，您的结果可能有所不同。请考虑运行几次示例并比较平均结果。

您会得到不同的结果，但预测下一个单词的准确率可能略高于50%，这也不算差。我们的目标不是100%的准确率（例如，一个记住了文本的模型），而是捕捉文本本质的模型。

保存模型

运行结束时，训练好的模型将被保存到文件。

在这里，我们使用Keras模型API将模型保存到当前工作目录下的文件“model.h5”中。

稍后，当我们加载模型进行预测时，我们还需要单词到整数的映射。这在Tokenizer对象中，我们也可以使用Pickle将其保存。

完整示例

我们可以将所有这些放在一起；用于拟合语言模型的完整示例列在下面。

使用语言模型

现在我们有了一个训练好的语言模型，我们可以使用它了。

在这种情况下，我们可以使用它来生成具有与源文本相同统计特性的新文本序列。

这并不实用，至少对于这个例子来说不是，但它提供了一个具体的例子来说明语言模型学到了什么。

我们将从再次加载训练序列开始。

加载数据

我们可以使用上一节中的相同代码来加载文本的训练数据序列。

具体来说，是load_doc()函数。

我们需要文本，以便我们可以选择一个源序列作为模型输入来生成新的文本序列。

模型将需要50个单词作为输入。

稍后，我们将需要指定预期的输入长度。我们可以通过计算加载数据的一行长度并减去一行中也存在的预期输出单词数来确定此长度。

加载模型

我们现在可以从文件加载模型了。

Keras提供了load_model()函数来加载模型，以便使用。

我们也可以使用Pickle API从文件加载分词器。

我们已准备好使用已加载的模型。

生成文本

生成文本的第一步是准备种子输入。

为此，我们将从输入文本中选择一个随机行。选定后，我们将打印它，以便我们对使用的内容有所了解。

接下来，我们可以一次生成一个新单词。

首先，必须使用与训练模型时相同的分词器将种子文本编码为整数。

模型可以直接通过调用model.predict_classes()来预测下一个单词，它将返回概率最高的单词的索引。

然后，我们可以查找分词器映射中的索引以获取关联的单词。

然后，我们可以将此单词附加到种子文本并重复此过程。

重要的是，输入序列会变得太长。在将输入序列编码为整数之后，我们可以将其截断到所需的长度。Keras提供了pad_sequences()函数，我们可以使用它来进行截断。

我们可以将所有这些包装到一个名为generate_seq()的函数中，该函数以模型、分词器、输入序列长度、种子文本和要生成的单词数为输入。然后，它返回模型生成的单词序列。

现在我们准备根据一些种子文本生成新单词序列。

将所有这些放在一起，用于从学习的语言模型生成文本的完整代码列表如下。

运行示例首先打印种子文本。

when he said that a man when he grows old may learn many things for he can no more learn much than he can run much youth is the time for any extraordinary toil of course and therefore calculation and geometry and all the other elements of instruction which are a

然后打印50个生成的文本单词。

preparation for dialectic should be presented to the name of idle spendthrifts of whom the other is the manifold and the unjust and is the best and the other which delighted to be the opening of the soul of the soul and the embroiderer will have to be said at

注意：由于算法或评估程序的随机性，或数值精度的差异，您的结果可能有所不同。请考虑运行几次示例并比较平均结果。

您可以看到文本看起来是合理的。事实上，连接的添加将有助于解释种子文本和生成的文本。尽管如此，生成的文本还是会得到正确类型的单词，并以正确的顺序排列。

尝试运行几次示例，看看其他生成的文本。如果您看到任何有趣的内容，请在下面的评论中告诉我。

扩展

本节列出了一些您可能希望探索的扩展本教程的想法。

• 逐句模型。根据句子分割原始数据，并将每个句子填充到固定长度（例如，最长句子的长度）。
• 简化词汇。探索一个更简单的词汇，也许去除词干或停用词。
• 调整模型。调整模型，例如嵌入的大小或隐藏层中的记忆单元数量，看看您是否能开发出更好的模型。
• 更深的模型。将模型扩展为具有多个LSTM隐藏层，可能带有dropout，看看您是否能开发出更好的模型。
• 预训练词嵌入。将模型扩展为使用预训练的word2vec或GloVe向量，看看它是否能产生更好的模型。

进一步阅读

如果您想深入了解此主题，本节提供了更多资源。

• Project Gutenberg
• The Republic by Plato on Project Gutenberg
• Republic (Plato) on Wikipedia
• Language model on Wikipedia

总结

在本教程中，您将了解如何使用词嵌入和循环神经网络开发一个基于单词的语言模型。

具体来说，你学到了：

• 如何为开发基于单词的语言模型准备文本。
• 如何设计和拟合带有学习到的嵌入层和LSTM隐藏层的神经网络语言模型。
• 如何使用学习到的语言模型生成具有与源文本相似统计特性的新文本。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发文本数据的深度学习模型！

在几分钟内开发您自己的文本模型

...只需几行python代码

在我的新电子书中探索如何实现
用于自然语言处理的深度学习

它提供关于以下主题的自学教程：
词袋模型、词嵌入、语言模型、标题生成、文本翻译等等...

最终将深度学习应用于您的自然语言处理项目

跳过学术理论。只看结果。

查看内容