如何在 Python 中对序列数据进行独热编码

机器学习算法不能直接处理分类数据。

分类数据必须转换为数字。

当您处理序列分类类型问题并计划使用深度学习方法（如长短期记忆循环神经网络）时，此规则适用。

在本教程中，您将学习如何将输入或输出序列数据转换为独热编码，以便在 Python 中使用深度学习解决序列分类问题。

完成本教程后，您将了解：

• 什么是整数编码和独热编码，以及它们在机器学习中为何必要。
• 如何在 Python 中手动计算整数编码和独热编码。
• 如何在 Python 中使用 scikit-learn 和 Keras 库自动编码您的序列数据。

使用我的新书《使用 Python 的长短期记忆网络》启动您的项目，其中包括逐步教程和所有示例的 Python 源代码文件。

让我们开始吧。

如何在 Python 中对序列分类数据进行独热编码
图片由 Elias Levy 提供，部分权利保留。

教程概述

本教程分为4个部分，它们是：

1. 什么是独热编码？
2. 手动独热编码
3. 使用 scikit-learn 进行独热编码
4. 使用 Keras 进行独热编码

什么是独热编码？

独热编码是将分类变量表示为二进制向量的一种方式。

这首先需要将分类值映射到整数值。

然后，每个整数值都被表示为一个二进制向量，除了整数的索引处标记为 1 之外，所有值都为零。

独热编码的示例

我们通过一个实例来具体说明。

假设我们有一个包含值“red”和“green”的标签序列。

我们可以将“red”分配整数值 0，将“green”分配整数值 1。只要我们始终将这些数字分配给这些标签，这就称为整数编码。一致性很重要，这样我们以后才能反转编码并从整数值获取标签，例如在进行预测时。

接下来，我们可以创建一个二进制向量来表示每个整数值。该向量的长度为 2，对应 2 个可能的整数值。

编码为 0 的“red”标签将用二进制向量 [1, 0] 表示，其中第零个索引标记为 1。反过来，编码为 1 的“green”标签将用二进制向量 [0, 1] 表示，其中第一个索引标记为 1。

如果我们有序列

我们可以用整数编码表示它

以及独热编码

为什么使用独热编码？

独热编码可以使分类数据的表示更具表现力。

许多机器学习算法无法直接处理分类数据。类别必须转换为数字。对于作为分类的输入和输出变量，都需要这样做。

我们可以直接使用整数编码，并在需要时重新缩放。这可能适用于类别之间存在自然序数关系的问题，以及随后的整数值，例如温度标签“冷”、“暖”和“热”。

如果不存在序数关系，并且让表示依赖于任何此类关系可能会损害解决问题的学习，则可能会出现问题。一个例子可能是标签“狗”和“猫”。

在这些情况下，我们希望赋予网络更强的表达能力，使其能够为每个可能的标签值学习一个类似概率的数字。这有助于使网络更容易对问题进行建模。当独热编码用于输出变量时，它可能提供比单个标签更细微的预测集。

手动独热编码

在此示例中，我们将假设我们有一个由字母字符组成的示例字符串，但示例序列并未涵盖所有可能的示例。

我们将使用以下字符作为输入序列

我们将假设所有可能输入的宇宙是完整的小写字母表和空格。因此，我们将以此为例来演示如何实现我们自己的独热编码。

完整的示例如下所示。

运行该示例首先打印输入字符串。

创建了所有可能输入的映射，从字符值到整数值。然后使用此映射对输入字符串进行编码。我们可以看到输入中的第一个字母“h”被编码为 7，或者在可能的输入值（字母表）的数组中的索引 7。

然后将整数编码转换为独热编码。这是逐个整数编码字符完成的。创建了一个长度为字母表的 0 值列表，以便可以表示任何预期的字符。

接下来，特定字符的索引标记为 1。我们可以看到，整数编码为 7 的第一个字母“h”由长度为 27 且第 7 个索引标记为 1 的二进制向量表示。

最后，我们反转第一个字母的编码并打印结果。我们通过使用 NumPy argmax() 函数在二进制向量中找到最大值的索引，然后使用字符值到整数的反向查找表中的整数值来完成此操作。

注意：输出已格式化以提高可读性。

现在我们已经了解了如何从头开始实现我们自己的独热编码，接下来我们看看如何使用 scikit-learn 库在输入序列完全捕获预期输入值范围的情况下自动执行此映射。

使用 scikit-learn 进行独热编码

在此示例中，我们将假设您有以下 3 个标签的输出序列

一个 10 个时间步的示例序列可能是

这首先需要整数编码，例如 1, 2, 3。然后是整数到包含 3 个值的二进制向量的独热编码，例如 [1, 0, 0]。

序列提供了序列中所有可能值的至少一个示例。因此，我们可以使用自动方法来定义标签到整数以及整数到二进制向量的映射。

在此示例中，我们将使用 scikit-learn 库中的编码器。具体来说，LabelEncoder 用于创建标签的整数编码，OneHotEncoder 用于创建整数编码值的独热编码。

完整的示例如下所示。

运行该示例首先打印标签序列。接着是标签的整数编码，最后是独热编码。

训练数据包含所有可能的示例集，因此我们可以依靠整数和独热编码转换来创建标签到编码的完整映射。

默认情况下，OneHotEncoder 类将返回更高效的稀疏编码。这可能不适用于某些应用程序，例如与 Keras 深度学习库一起使用。在这种情况下，我们通过设置 `sparse=False` 参数禁用了稀疏返回类型。

如果我们收到这种 3 值独热编码的预测，我们可以轻松地将转换反转回原始标签。

首先，我们可以使用 `argmax()` NumPy 函数来定位具有最大值的列的索引。然后，可以将其馈送到 `LabelEncoder` 以计算反向转换回文本标签。

这在示例的末尾进行了演示，将第一个独热编码示例反向转换回标签值“cold”。

同样，请注意输入已格式化以提高可读性。

在下一个示例中，我们将探讨如何直接对整数序列进行独热编码。

使用 Keras 进行独热编码

您可能有一个已经整数编码的序列。

您可以直接处理这些整数，经过一些缩放后。或者，您可以直接对整数进行独热编码。如果这些整数没有真正的序数关系，而只是标签的占位符，那么这一点很重要。

Keras 库提供了一个名为 to_categorical() 的函数，您可以使用它对整数数据进行独热编码。

在此示例中，我们有 4 个整数值 [0, 1, 2, 3]，并且我们有以下 10 个数字的输入序列

序列包含所有已知值的示例，因此我们可以直接使用 to_categorical() 函数。另外，如果序列是基于 0 的（从 0 开始）并且不代表所有可能的值，我们可以指定 num_classes 参数 to_categorical(num_classes=4)。

此函数的完整示例如下所示。

运行该示例首先定义并打印输入序列。

然后将整数编码为二进制向量并打印。我们可以看到，第一个整数值 1 被编码为 [0, 1, 0, 0]，正如我们所预期的那样。

然后，我们通过对序列中的第一个值使用 NumPy argmax() 函数来反转编码，该函数返回第一个整数的预期值 1。

进一步阅读

本节列出了一些进一步阅读的资源。

• 什么是独热编码以及它在数据科学中的用途？在 Quora 上
• OneHotEncoder scikit-learn API 文档
• LabelEncoder scikit-learn API 文档
• to_categorical Keras API 文档
• 在 Python 中为 XGBoost 的梯度提升准备数据
• 使用 Keras 深度学习库进行多类别分类教程

总结

在本教程中，您学习了如何使用 Python 中的独热编码对分类序列数据进行深度学习编码。

具体来说，你学到了：

• 什么是整数编码和独热编码，以及它们在机器学习中为何必要。
• 如何在 Python 中手动计算整数编码和独热编码。
• 如何在 Python 中使用 scikit-learn 和 Keras 库自动编码您的序列数据。

您对准备序列数据有什么疑问吗？
在评论中提出您的问题，我将尽力回答。

立即开发用于序列预测的 LSTM！

在几分钟内开发您自己的 LSTM 模型。

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 构建长短期记忆网络

它提供关于以下主题的自学教程：
CNN LSTM、编码器-解码器 LSTM、生成模型、数据准备、进行预测等等...

最终将 LSTM 循环神经网络引入。
您的序列预测项目。

跳过学术理论。只看结果。

查看内容