如何使用 Gensim 在 Python 中开发词嵌入

词嵌入是自然语言处理中表示文本的一种现代方法。

词嵌入算法，如 word2vec 和 GloVe，是神经网络模型在机器翻译等自然语言处理问题上取得最先进结果的关键。

在本教程中，您将学习如何使用 Gensim 在 Python 中训练和加载用于自然语言处理应用的词嵌入模型。

完成本教程后，您将了解：

• 如何根据文本数据训练您自己的 word2vec 词嵌入模型。
• 如何使用主成分分析 (PCA) 可视化训练好的词嵌入模型。
• 如何从 Google 和 Stanford 加载预训练的 word2vec 和 GloVe 词嵌入模型。

通过我的新书《深度学习与自然语言处理》启动您的项目，其中包括逐步教程和所有示例的 Python 源代码文件。

让我们开始吧。

如何使用 Gensim 在 Python 中开发词嵌入
图片作者：dilettantiquity，保留部分权利。

教程概述

本教程分为6个部分；它们是

1. 词嵌入
2. Gensim 库
3. 开发 Word2Vec 嵌入
4. 可视化词嵌入
5. 加载 Google 的 Word2Vec 嵌入
6. 加载 Stanford 的 GloVe 嵌入

词嵌入

词嵌入是一种提供词语密集向量表示的方法，它能捕捉词语的某些含义。

词嵌入比简单的词袋模型词编码方案（如词频和词计数）有所改进，后者会产生描述文档而非词语含义的大而稀疏的向量（大部分为 0 值）。

词嵌入通过使用算法，根据大量文本语料库训练一组固定长度的密集连续值向量。每个词都由嵌入空间中的一个点表示，这些点根据目标词周围的词进行学习和移动。

通过其上下文来定义一个词，使词嵌入能够学习词语的含义。词语的向量空间表示提供了一个投影，其中含义相似的词语在空间中局部聚集。

使用词嵌入而非其他文本表示是导致深度神经网络在机器翻译等问题上取得突破性性能的关键方法之一。

在本教程中，我们将学习如何使用两种不同的词嵌入方法：Google 研究人员开发的 word2vec 和 Stanford 研究人员开发的 GloVe。

Gensim Python 库

Gensim 是一个用于自然语言处理的开源 Python 库，主要侧重于主题建模。

它被宣传为

为人类服务的主题建模

Gensim 由捷克自然语言处理研究员 Radim Řehůřek 和他的公司 RaRe Technologies 开发并维护。

它不是一个“包罗万象”的 NLP 研究库（像 NLTK 那样）；相反，Gensim 是一个成熟、专注且高效的用于主题建模的 NLP 工具套件。对于本教程来说，最值得注意的是，它支持 Word2Vec 词嵌入的实现，用于从文本中学习新的词向量。

它还提供了加载多种格式的预训练词嵌入，以及使用和查询已加载嵌入的工具。

我们将在本教程中使用 Gensim 库。

如果您没有设置 Python 环境，可以使用本教程

• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境

Gensim 可以通过 pip 或 easy_install 轻松安装。

例如，您可以在命令行中输入以下内容，通过 pip 安装 Gensim

如果您在系统上安装 Gensim 时需要帮助，可以查阅 Gensim 安装说明。

开发 Word2Vec 嵌入

Word2vec 是一种从文本语料库学习词嵌入的算法。

有两种主要的训练算法可用于从文本中学习嵌入；它们是连续词袋 (CBOW) 和 skip-grams。

我们不会深入探讨这些算法，只说它们通常会查看每个目标词的词语窗口，以提供上下文，进而提供词语的含义。该方法由 Tomas Mikolov 开发，他曾就职于 Google，目前在 Facebook。

Word2Vec 模型需要大量文本，例如整个维基百科语料库。尽管如此，我们将使用一个小的内存中文本示例来演示其原理。

Gensim 提供了 Word2Vec 类用于处理 Word2Vec 模型。

从文本中学习词嵌入涉及将文本加载并组织成句子，然后将其提供给新的 `Word2Vec()` 实例的构造函数。例如

具体来说，每个句子都必须进行分词，即分成单词并进行准备（例如，可能预过滤并转换为首选大小写）。

这些句子可以是加载到内存中的文本，也可以是逐步加载文本的迭代器，这对于非常大的文本语料库是必需的。

这个构造函数有很多参数；您可能希望配置的几个值得注意的参数是

• size：（默认 100）嵌入的维度数，例如，表示每个标记（单词）的密集向量的长度。
• window：（默认 5）目标词和目标词周围词之间的最大距离。
• min_count：（默认 5）训练模型时要考虑的词的最小计数；出现次数少于此计数的词将被忽略。
• workers：（默认 3）训练时使用的线程数。
• sg：（默认 0 或 CBOW）训练算法，可以是 CBOW (0) 或 skip gram (1)。

刚开始时，默认值通常就足够了。如果您的计算机有许多核心（大多数现代计算机都有），我强烈建议您将 `workers` 增加到与核心数匹配（例如 8）。

模型训练完成后，可以通过“wv”属性访问。这是实际的词向量模型，可以在其中进行查询。

例如，您可以打印学习到的标记（单词）词汇表，如下所示

您可以查看特定标记的嵌入向量，如下所示

最后，训练好的模型可以通过调用词向量模型上的 `save_word2vec_format()` 函数保存到文件中。

默认情况下，模型以二进制格式保存以节省空间。例如

开始时，您可以将学习到的模型保存为 ASCII 格式并查看内容。

您可以通过在调用 `save_word22vec_format()` 函数时设置 `binary=False` 来完成此操作，例如

然后可以通过调用 `Word2Vec.load()` 函数再次加载保存的模型。例如

我们可以将所有这些与一个示例结合起来。

我们不从文件中加载大型文本文档或语料库，而是使用一个小的、内存中的预分词句子列表。模型经过训练，并将单词的最小计数设置为 1，以便不忽略任何单词。

模型学习完成后，我们进行总结，打印词汇表，然后打印单词“sentence”的单个向量。

最后，模型以二进制格式保存到文件中，然后加载并进行总结。

注意：由于算法或评估过程的随机性，或者数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

运行示例会打印以下输出。

正如您所见，只需稍加准备文本文档，就可以使用 Gensim 非常轻松地创建自己的词嵌入。

可视化词嵌入

在您学习了文本数据的词嵌入之后，使用可视化对其进行探索会很不错。

您可以使用经典投影方法将高维词向量降维到二维平面并绘制在图表上。

这些可视化可以为您学习到的模型提供定性诊断。

我们可以从训练好的模型中检索所有向量，如下所示

然后我们可以使用 scikit-learn 中提供的方法（例如 PCA）在向量上训练投影方法，然后使用 matplotlib 绘制投影的散点图。

让我们看一个使用主成分分析或 PCA 的示例。

使用 PCA 绘制词向量

我们可以使用 scikit-learn PCA 类来创建词向量的 2 维 PCA 模型，如下所示。

生成的投影可以使用 matplotlib 绘制，如下所示，将两个维度作为 x 和 y 坐标。

我们可以更进一步，用单词本身标注图上的点。一个没有美观偏移的粗略版本如下所示。

将所有这些与上一节中的模型结合起来，完整的示例如下所示。

运行示例会创建一个散点图，其中点用单词标注。

注意：由于算法或评估过程的随机性，或者数值精度的差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

鉴于用于拟合模型的语料库太小，很难从图中获取太多含义。

Word2Vec 模型的 PCA 投影散点图

加载 Google 的 Word2Vec 嵌入

训练您自己的词向量可能是解决给定 NLP 问题的最佳方法。

但这可能需要很长时间、一台具有大量内存和磁盘空间的快速计算机，以及可能一些微调输入数据和训练算法的专业知识。

另一种方法是直接使用现有的预训练词嵌入。

除了 word2vec 的论文和代码，Google 还在 Word2Vec Google Code Project 上发布了一个预训练的 word2vec 模型。

预训练模型不过是一个包含标记及其相关词向量的文件。预训练的 Google word2vec 模型是在 Google 新闻数据（约 1000 亿个词）上训练的；它包含 300 万个词和短语，并使用 300 维词向量进行拟合。

它是一个 1.53 GB 的文件。您可以从这里下载

• GoogleNews-vectors-negative300.bin.gz

解压后，二进制文件（GoogleNews-vectors-negative300.bin）大小为 3.4 GB。

Gensim 库提供了加载此文件的工具。具体来说，您可以调用 `KeyedVectors.load_word2vec_format()` 函数将此模型加载到内存中，例如

在我的现代工作站上，加载大约需要 43 秒。

另一件有趣的事情是你可以用单词做一些线性代数运算。

例如，在讲座和介绍性论文中描述的一个流行例子是

也就是说，词语 queen 是给定从 king 中减去 man 的概念并加上 woman 这个词语后最接近的词语。king 中的“男性”被“女性”取代，从而得到 queen。一个非常酷的概念。

Gensim 在训练或加载的模型上的 `most_similar()` 函数中提供了一个执行这些类型操作的接口。

例如

我们可以将所有这些放在一起，如下所示。

运行该示例会加载 Google 预训练的 word2vec 模型，然后对这些单词的词向量执行 (king – man) + woman = ? 操作。

正如我们所预期的，答案是 queen。

有关您可以探索的更多有趣的算术示例，请参阅“进一步阅读”部分中的一些帖子。

加载 Stanford 的 GloVe 嵌入

斯坦福大学的研究人员也有自己的词嵌入算法，类似于 word2vec，称为全球词向量表示，简称 GloVe。

我不会在这里深入讨论 word2vec 和 GloVe 之间的区别，但一般来说，目前 NLP 从业者似乎更喜欢 GloVe，这基于其结果。

与 word2vec 类似，GloVe 研究人员也提供了预训练词向量，在这种情况下，有多种选择可供选择。

您可以下载 GloVe 预训练词向量，并使用 gensim 轻松加载。

第一步是将 GloVe 文件格式转换为 word2vec 文件格式。唯一的区别是添加了一个小的标题行。这可以通过调用 `glove2word2vec()` 函数来完成。例如

转换后，文件可以像上面一样加载，就像 word2vec 文件一样。

让我们用一个例子来具体说明。

您可以从 GloVe 网站下载最小的 GloVe 预训练模型。它是一个 822 兆字节的 zip 文件，包含 4 个不同的模型（50、100、200 和 300 维向量），这些模型在包含 60 亿个标记和 40 万个词汇的维基百科数据上进行训练。

直接下载链接在此

• glove.6B.zip

使用 100 维版本的模型，我们可以将文件转换为 word2vec 格式，如下所示

您现在拥有一个 GloVe 模型的副本，采用 word2vec 格式，文件名为 `glove.6B.100d.txt.word2vec`。

现在我们可以加载它并执行与上一节相同的 (king – man) + woman = ? 测试。完整的代码列表如下。请注意，转换后的文件是 ASCII 格式，而不是二进制格式，因此加载时我们将 `binary=False` 设置为 `False`。

运行该示例会打印出相同的“queen”结果。

进一步阅读

如果您想深入了解此主题，本节提供了更多资源。

• 维基百科词嵌入
• 维基百科上的 Word2Vec
• Google word2vec 项目
• 斯坦福 GloVe 项目

Gensim

• gensim Python 库
• models.word2vec gensim API
• models.keyedvectors gensim API
• scripts.glove2word2vec gensim API

文章

• 玩转 Word2vec, 2016
• 数字人文领域的向量空间模型, 2015
• Gensim Word2vec 教程, 2014

总结

在本教程中，您学习了如何使用 Gensim 在 Python 中开发和加载词嵌入层。

具体来说，你学到了：

• 如何根据文本数据训练您自己的 word2vec 词嵌入模型。
• 如何使用主成分分析 (PCA) 可视化训练好的词嵌入模型。
• 如何从 Google 和 Stanford 加载预训练的 word2vec 和 GloVe 词嵌入模型。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发文本数据的深度学习模型！

在几分钟内开发您自己的文本模型

...只需几行python代码

在我的新电子书中探索如何实现
用于自然语言处理的深度学习

它提供关于以下主题的自学教程：
词袋模型、词嵌入、语言模型、标题生成、文本翻译等等...

最终将深度学习应用于您的自然语言处理项目

跳过学术理论。只看结果。

查看内容