用 Python 从零开始实现朴素贝叶斯分类器

在本教程中，您将学习朴素贝叶斯算法，包括它的工作原理以及如何用Python从头开始实现它（无需库）。

我们可以使用概率来做出机器学习预测。也许最广泛使用的例子就是朴素贝叶斯算法。它不仅易于理解，而且在各种问题上都能取得惊人的好成绩。

完成本教程后，您将了解

• 如何计算朴素贝叶斯算法所需的概率。
• 如何从头开始实现朴素贝叶斯算法。
• 如何将朴素贝叶斯应用于现实世界的预测建模问题。

通过我的新书《从头开始的机器学习算法》来启动您的项目，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

• 更新 2014 年 12 月：原始实现。
• 更新 2019 年 10 月：从头开始重写了教程和代码。

从头开始用Python编写朴素贝叶斯分类器（无需库）
照片由 Matt Buck 拍摄，保留部分权利

概述

本节将简要介绍朴素贝叶斯算法以及我们将在本教程中使用的鸢尾花数据集。

朴素贝叶斯

贝叶斯定理提供了一种方法，可以根据我们先前的知识来计算一段数据属于给定类别的概率。贝叶斯定理的陈述如下：

• P(类别|数据) = (P(数据|类别) * P(类别)) / P(数据)

其中 P(类别|数据) 是给定提供的数据后，该类别属于该数据的概率。

有关贝叶斯定理的深入介绍，请参阅教程

• 机器学习贝叶斯定理简明介绍

朴素贝叶斯是一种用于二分类（两类）和多分类问题的分类算法。它被称为朴素贝叶斯或傻瓜贝叶斯，是因为每个类别的概率计算被简化了，使其计算易于处理。

它们被假定为在给定类别值的情况下条件独立，而不是尝试计算每个属性值的概率。

这是一个非常强的假设，在真实数据中不太可能成立，即属性之间不相互作用。尽管如此，该方法在不满足此假设的数据上表现仍然相当好。

有关朴素贝叶斯算法的深入介绍，请参阅教程

• 如何开发朴素贝叶斯分类器

鸢尾花物种数据集

在本教程中，我们将使用鸢尾花种类数据集。

鸢尾花数据集涉及根据鸢尾花的测量值来预测花卉的种类。

这是一个多类分类问题。每个类别的观测数量是均衡的。有 150 个观测值，包含 4 个输入变量和 1 个输出变量。变量名称如下：

• 花萼长度（厘米）。
• 花萼宽度（厘米）。
• 花瓣长度（厘米）。
• 花瓣宽度（厘米）。
• 类别

下面是前 5 行的样本。

该问题的基线性能约为 33%。

下载数据集并将其以iris.csv 文件名保存在当前工作目录中。

• 下载数据集 (iris.csv)
• 更多数据集信息 (iris.names)

朴素贝叶斯教程（分 5 个简单步骤）

首先，我们将在本节中开发算法的每个部分，然后在下一节中将其整合到一个实际应用的数据集中。

此朴素贝叶斯教程分为 5 个部分

• 第一步：按类别分隔。
• 第二步：汇总数据集。
• 第三步：按类别汇总数据。
• 第四步：高斯概率密度函数。
• 第五步：类别概率。

这些步骤将为您从头开始实现朴素贝叶斯并将其应用于您自己的预测建模问题奠定基础。

注意：本教程假设您使用的是Python 3。如果您需要安装 Python 的帮助，请参阅本教程

• 如何为机器学习设置您的 Python 环境

注意：如果您使用的是Python 2.7，则必须将字典对象上对items() 函数的所有调用更改为iteritems()。

第一步：按类别分隔

我们需要按它们所属的类别来计算数据的概率，也就是所谓的基率。

这意味着我们首先需要按类别分离我们的训练数据。这是一个相对直接的操作。

我们可以创建一个字典对象，其中每个键是类别值，然后将所有记录的列表作为值添加到字典中。

下面是一个名为separate_by_class() 的函数，它实现了这种方法。它假定每行中的最后一列是类别值。

我们可以构建一个小数据集来测试这个函数。

我们可以绘制这个数据集，并为每个类别使用不同的颜色。

用于测试朴素贝叶斯算法的小型构造数据集的散点图

将所有这些放在一起，我们可以测试我们的separate_by_class() 函数在构造的数据集上的效果。

运行该示例会按其类别值对数据集中的观测值进行排序，然后打印类别值以及所有识别出的记录。

接下来，我们可以开始开发收集统计数据所需的功能。

第二步：汇总数据集

我们需要从给定数据集中获取两项统计数据。

我们将在几步之后看到这些统计数据如何用于计算概率。我们需要从给定数据集中获取的两项统计数据是均值和标准差（与均值的平均偏差）。

均值是平均值，可以计算为：

• 均值 = sum(x)/n * count(x)

其中 *x* 是值列表或我们正在查看的列。

下面是一个名为mean() 的小型函数，用于计算数字列表的均值。

样本标准差是根据与均值的平均差异计算的。它可以计算为：

• 标准差 = sqrt((sum i to N (x_i – mean(x))^2) / N-1)

您可以看到，我们对均值与给定值之间的差值进行平方，计算与均值的平均平方差，然后取平方根，将单位恢复到其原始值。

下面是一个名为standard_deviation() 的小型函数，用于计算数字列表的标准差。您会注意到它会计算均值。一次性计算数字列表的均值，并将其作为参数传递给standard_deviation() 函数可能更有效。如果您感兴趣，以后可以探索此优化。

我们需要为每个输入属性或数据列计算均值和标准差统计数据。

我们可以通过将每列的所有值收集到一个列表中，然后对该列表计算均值和标准差来实现这一点。计算完成后，我们可以将统计数据收集到一个统计信息列表或元组中。然后，对数据集中的每一列重复此操作，并返回统计信息元组列表。

下面是一个名为summarize_dataset() 的函数，它实现了这种方法。它使用一些 Python 技巧来减少所需的行数。

第一个技巧是使用 zip() 函数，它将聚合来自每个提供参数的元素。我们使用 * 运算符将数据集（它是一个列表的列表）传递给 zip() 函数，该运算符将数据集分成每行的单独列表。然后 zip() 函数迭代每行的每个元素，并以数字列表的形式返回数据集中的一列。一个巧妙的小技巧。

然后，我们计算每列的均值、标准差和行数。由这 3 个数字组成一个元组，并存储这些元组的列表。然后，我们删除类别变量的统计信息，因为我们不需要这些统计信息。

让我们用上面构造的数据集来测试所有这些函数。下面是完整的示例。

运行示例会打印出每个输入变量的统计信息元组列表。

解释结果，我们可以看到 X1 的均值为 5.178333386499999，X1 的标准差为 2.7665845055177263。

现在我们准备在数据集中的每一组行上使用这些函数了。

第三步：按类别汇总数据

我们需要按类别组织的训练数据集的统计数据。

上面，我们开发了separate_by_class() 函数来将数据集按类别分割成行。并且我们开发了summarize_dataset() 函数来计算每列的汇总统计数据。

我们可以将所有这些放在一起，并按类别值组织的类别汇总数据集中的列。

下面是一个名为summarize_by_class() 的函数，它实现了此操作。数据集首先按类别分割，然后对每个子集计算统计数据。结果以统计信息元组列表的形式存储在按类别值划分的字典中。

再次，让我们用构造的数据集测试所有这些行为。

运行此示例将计算每个输入变量的统计数据，并按类别值组织打印它们。解释结果，我们可以看到类别 0 的行的 X1 值的均值为 2.7420144012。

在开始计算概率之前，我们还需要最后一块。

第四步：高斯概率密度函数

计算像 X1 这样的给定实数值的概率或似然性是困难的。

我们可以做到的一点是假设 X1 值是从某个分布中抽取的，例如钟形曲线或高斯分布。

高斯分布仅用两个数字就可以概括：均值和标准差。因此，通过一点数学，我们可以估计给定值的概率。这部分数学被称为高斯 概率分布函数（或高斯 PDF），可以计算为：

• f(x) = (1 / sqrt(2 * PI) * sigma) * exp(-((x-mean)^2 / (2 * sigma^2)))

其中 *sigma* 是 *x* 的标准差，*mean* 是 *x* 的均值，*PI* 是 pi 的值。

下面是一个实现此功能的函数。我尝试将其拆分以使其更具可读性。

让我们测试一下看看它是如何工作的。下面是一些计算示例。

运行它会打印一些输入值的概率。您可以看到，当值为 1 且均值和标准差为 1 时，我们的输入最有可能（钟形曲线的顶部），概率为 0.39。

我们可以看到，当保持统计数据不变并将 x 值更改为均值两侧的 1 个标准差（2 和 0 或两侧与钟形曲线的距离相同）时，这些输入值的概率都相同，为 0.24。

现在我们已经具备了所有必要条件，让我们看看如何计算朴素贝叶斯分类器所需的概率。

第五步：类别概率

现在是时候使用从训练数据中计算出的统计数据来计算新数据的概率了。

概率是为每个类别分别计算的。这意味着我们首先计算新数据属于第一个类别的概率，然后计算其属于第二个类别的概率，依此类推，直到所有类别。

数据属于某个类别的概率计算如下：

• P(类别|数据) = P(X|类别) * P(类别)

您可能会注意到这与上面描述的贝叶斯定理不同。

为简化计算，已移除除法。

这意味着结果不再严格是数据属于某个类别的概率。该值仍然被最大化，意味着计算产生最大值的类别被视为预测。这是一个常见的实现简化，因为我们通常更关心类别预测而不是概率。

输入变量被单独处理，这使得该技术得名“朴素”。对于我们有 2 个输入变量的上述示例，计算一行属于第一个类别 0 的概率可以计算为：

• P(类别=0|X1,X2) = P(X1|类别=0) * P(X2|类别=0) * P(类别=0)

现在您可以看到为什么我们需要按类别值分隔数据了。上一步中的高斯概率密度函数是我们计算 X1 这样的实数值的概率的方法，而我们准备的统计数据用于此计算。

下面是一个名为calculate_class_probabilities() 的函数，它将所有这些结合在一起。

它将一组准备好的摘要和一个新行作为输入参数。

首先，从存储在摘要统计信息中的计数计算训练记录的总数。这用于计算给定类别的概率或P(类别)，作为具有给定类别的所有训练数据行的比率。

接下来，使用高斯概率密度函数以及该列和该类别的统计数据，为行中的每个输入值计算概率。在累积过程中，概率会相乘。

此过程对数据集中的每个类别重复进行。

最后，返回一个包含每个类别一个条目的概率字典。

让我们用构造数据集中的一个示例来结合起来。

下面的示例首先为训练数据集计算按类别的汇总统计数据，然后使用这些统计数据计算第一个记录属于每个类别的概率。

运行示例会打印为每个类别计算出的概率。

我们可以看到，第一个行属于类别 0 的概率（0.0503）高于其属于类别 1 的概率（0.0001）。因此，我们可以正确地得出结论，它属于类别 0。

现在我们已经看到了如何实现朴素贝叶斯算法，让我们将其应用于鸢尾花数据集。

鸢尾花种类案例研究

本节将朴素贝叶斯算法应用于鸢尾花数据集。

第一步是加载数据集，并将加载的数据转换为我们可以用于均值和标准差计算的数字。为此，我们将使用辅助函数load_csv() 来加载文件，str_column_to_float() 将字符串数字转换为浮点数，str_column_to_int() 将类别列转换为整数值。

我们将使用 5 折的 k 折交叉验证来评估该算法。这意味着每个折叠将包含 150/5=30 条记录。我们将使用辅助函数evaluate_algorithm() 来通过交叉验证评估算法，并使用accuracy_metric() 来计算预测的准确性。

开发了一个名为predict() 的新函数来管理计算新行属于每个类别的概率以及选择具有最大概率值的类别。

开发了一个名为naive_bayes() 的新函数来管理朴素贝叶斯算法的应用，首先从训练数据集中学习统计数据，并使用它们来为测试数据集做出预测。

如果您想了解更多关于下面使用的数据加载函数的帮助，请参阅教程

• 如何在 Python 中从头开始加载机器学习数据

如果您想了解更多关于使用交叉验证评估模型的方法，请参阅教程

• 如何在Python中从零开始实现重抽样方法

完整的示例如下所示。

运行示例会打印每个交叉验证折叠上的平均分类准确性得分以及平均准确性得分。

我们可以看到，平均准确性约 95% 比基线准确性 33% 有了显著提高。

我们可以在整个数据集上拟合模型，然后使用该模型对新观测值（数据行）进行预测。

例如，模型只是一组通过summarize_by_class() 函数计算出的概率。

计算完成后，我们可以在调用 predict() 函数时使用它们，并传入代表我们新观测值的行来预测类别标签。

我们也可能想知道预测的类别标签（字符串）。我们可以更新 str_column_to_int() 函数以打印字符串类别名称到整数的映射，这样我们就可以通过模型来解释预测。

将所有这些结合起来，下面列出了在一个完整示例中，在整个数据集上拟合朴素贝叶斯模型并为新观测值做出单个预测。

运行数据首先会总结类别标签到整数的映射，然后会在整个数据集上拟合模型。

然后定义一个新的观测值（在本例中，我采用了数据集中的一行），并计算预测标签。在这种情况下，我们的观测值被预测为属于类别 1，我们知道这是“Iris-versicolor”。

扩展

本节列出了你可能希望探索的教程扩展。

• 对数概率：给定属性值的每个类别的条件概率都很小。当它们相乘时，会产生非常小的值，这可能导致浮点下溢（值太小而无法在 Python 中表示）。一个常见的解决方法是将概率的对数加在一起。研究并实现此改进。
• 名义属性：更新实现以支持名义属性。这非常相似，您可以为每个属性收集的摘要信息是每个类别类别值的比率。有关更多信息，请深入研究参考文献。
• 不同的密度函数（伯努利或多项式）：我们已经看过高斯朴素贝叶斯，但您也可以查看其他分布。实现不同的分布，例如多项式、伯努利或核朴素贝叶斯，它们对属性值的分布和/或它们与类别值的关系做出不同的假设。

如果您尝试了任何这些扩展，请在下面的评论中告知我。

进一步阅读

教程

• 机器学习贝叶斯定理简明介绍
• 如何在 Python 中从零开始开发朴素贝叶斯分类器
• 机器学习朴素贝叶斯教程
• 机器学习中的朴素贝叶斯
• 更好的朴素贝叶斯：充分利用朴素贝叶斯算法的12个技巧

书籍

• 第 13.6 节 朴素贝叶斯，第 353 页，应用预测建模，2013。
• 第 4.2 节 统计建模，第 88 页，数据挖掘：实用机器学习工具和技术，第二版，2005。

总结

在本教程中，您学习了如何用 Python 从头开始实现朴素贝叶斯算法。

具体来说，你学到了：

• 如何计算朴素贝叶斯对贝叶斯定理的解释所需的概率。
• 如何使用概率对新数据进行预测。
• 如何将朴素贝叶斯应用于现实世界的预测建模问题。

下一步

采取行动！

1. 遵循教程，从头开始实现朴素贝叶斯。
2. 将示例改编到另一个数据集。
3. 遵循扩展并改进实现。

留下评论并分享您的经验。

了解如何从零开始编写算法！

没有库，只有 Python 代码。

...附带真实世界数据集的逐步教程

在我的新电子书中探索如何实现
从零开始实现机器学习算法

它涵盖了 18 个教程，包含 12 种顶级算法的所有代码，例如
线性回归、k-近邻、随机梯度下降等等……

最后，揭开
机器学习算法的神秘面纱

跳过学术理论。只看结果。

查看内容