机器学习贝叶斯定理简明介绍

贝叶斯定理提供了一种计算条件概率的原则性方法。

它是一个看似简单的计算，但可以用来轻松计算直觉常常失效的事件的条件概率。

尽管贝叶斯定理在概率论领域是一个强大的工具，但它在机器学习领域也得到了广泛应用。包括在概率框架中用于将模型拟合到训练数据集（称为最大后验或简称MAP），以及开发用于分类预测建模问题（如贝叶斯最优分类器和朴素贝叶斯）的模型。

在这篇文章中，您将了解用于计算条件概率的贝叶斯定理以及它在机器学习中的应用。

阅读本文后，你将了解：

• 什么是贝叶斯定理以及如何在一个真实场景中进行计算。
• 贝叶斯定理计算中各项的含义以及其背后的直觉。
• 贝叶斯定理在分类器、优化和因果模型中的应用示例。

我的新书《机器学习中的概率》将助您开启项目，其中包括逐步教程和所有示例的Python源代码文件。

让我们开始吧。

• 2019年10月更新：加入HackerNews上关于此教程的讨论。
• 2019年10月更新：扩展以添加更多贝叶斯定理的示例和用法。

机器学习贝叶斯定理简明介绍
图片由Marco Verch提供，保留部分权利。

概述

本教程分为六个部分；它们是：

1. 条件概率的贝叶斯定理
2. 定理中各项的命名
3. 贝叶斯定理计算的实例
   1. 诊断测试场景
   2. 手动计算
   3. Python代码计算
   4. 二元分类器术语
4. 用于建模假设的贝叶斯定理
5. 用于分类的贝叶斯定理
   1. 朴素贝叶斯分类器
   2. 贝叶斯最优分类器
6. 贝叶斯定理在机器学习中的更多用途
   1. 贝叶斯优化
   2. 贝叶斯信念网络

条件概率的贝叶斯定理

在我们深入了解贝叶斯定理之前，让我们回顾一下边际概率、联合概率和条件概率。

回想一下，边际概率是事件的概率，与其它随机变量无关。如果随机变量是独立的，那么它就是事件的直接概率；否则，如果变量依赖于其他变量，那么边际概率就是事件的概率，对所有依赖变量的所有结果求和，称为求和规则。

• 边际概率：事件的概率，与其它随机变量的结果无关，例如 P(A)。

联合概率是两个（或更多）同时发生的事件的概率，通常用来自两个依赖随机变量（例如 X 和 Y）的事件 A 和 B 来描述。联合概率通常简称为结果，例如 A 和 B。

• 联合概率：两个（或更多）同时发生的事件的概率，例如 P(A 和 B) 或 P(A, B)。

条件概率是一个事件在另一个事件发生的前提下的概率，通常用来自两个依赖随机变量（例如 X 和 Y）的事件 A 和 B 来描述。

• 条件概率：一个（或更多）事件在另一个事件发生的前提下的概率，例如 P(A 在 B 发生的情况下) 或 P(A | B)。

联合概率可以使用条件概率计算；例如

• P(A, B) = P(A | B) * P(B)

这被称为乘积规则。重要的是，联合概率是对称的，这意味着

• P(A, B) = P(B, A)

条件概率可以使用联合概率计算；例如

• P(A | B) = P(A, B) / P(B)

条件概率不是对称的；例如

• P(A | B) != P(B | A)

我们现在已经掌握了边际概率、联合概率和条件概率。如果您想了解这些基础知识的更多背景信息，请参阅教程

• 联合、边缘和条件概率的简明介绍

计算条件概率的另一种方法

现在，还有另一种计算条件概率的方法。

具体来说，一个条件概率可以用另一个条件概率来计算；例如

• P(A|B) = P(B|A) * P(A) / P(B)

反之亦然；例如

• P(B|A) = P(A|B) * P(B) / P(A)

这种计算条件概率的替代方法在联合概率难以计算（大多数情况下如此）或当逆条件概率可用或易于计算时非常有用。

这种条件概率的替代计算方法被称为贝叶斯规则或贝叶斯定理，以托马斯·贝叶斯牧师的名字命名，他被认为是第一个描述它的人。将其称为贝叶斯定理（带撇号）在语法上是正确的，但为了简洁起见，通常省略撇号。

• 贝叶斯定理：一种在没有联合概率的情况下计算条件概率的原则性方法。

通常情况下，我们无法直接获得分母，例如 P(B)。

我们可以用另一种方式计算它；例如

• P(B) = P(B|A) * P(A) + P(B|非 A) * P(非 A)

这给出了贝叶斯定理的一种表述，我们可以使用它，它使用了 P(B) 的替代计算，如下所述

• P(A|B) = P(B|A) * P(A) / P(B|A) * P(A) + P(B|非 A) * P(非 A)

或者为了清晰起见，分母加上括号

• P(A|B) = P(B|A) * P(A) / (P(B|A) * P(A) + P(B|非 A) * P(非 A))

注：分母就是我们上面给出的展开式。

因此，如果我们有 P(A)，那么我们可以将其补集 P(非 A) 计算出来；例如

• P(非 A) = 1 – P(A)

此外，如果我们有 P(非 B|非 A)，那么我们可以将其补集 P(B|非 A) 计算出来；例如

• P(B|非 A) = 1 – P(非 B|非 A)

现在我们熟悉了贝叶斯定理的计算，让我们仔细看看方程中各项的含义。

定理中各项的命名

贝叶斯定理方程中的各项根据其在方程中的上下文而有不同的名称。

从这些不同的角度思考计算会有帮助，并有助于将您的问题映射到方程上。

首先，一般来说，结果 P(A|B) 被称为后验概率，P(A) 被称为先验概率。

• P(A|B)：后验概率。
• P(A)：先验概率。

有时 P(B|A) 被称为似然，P(B) 被称为证据。

• P(B|A)：似然。
• P(B)：证据。

这使得贝叶斯定理可以改写为

• 后验 = 似然 * 先验 / 证据

我们可以用一个烟和火的例子来阐明这一点。

已知有烟，那么有火的概率是多少？

其中 P(火) 是先验，P(烟|火) 是似然，P(烟) 是证据

• P(火|烟) = P(烟|火) * P(火) / P(烟)

你可以想象下雨和云朵的类似情况。

现在我们已经熟悉了贝叶斯定理和各项的含义，让我们看一个可以计算它的场景。

贝叶斯定理计算的实例

贝叶斯定理最好通过一个带有真实数据的真实实例来理解，以演示其计算过程。

首先，我们将定义一个场景，然后进行手动计算、Python 中的计算以及使用二元分类领域中您可能熟悉的术语进行计算。

1. 诊断测试场景
2. 手动计算
3. Python代码计算
4. 二元分类器术语

开始吧。

诊断测试场景

贝叶斯定理的一个出色且广泛使用的示例是医疗诊断测试的分析。

场景：考虑一个可能患有或未患癌症（癌症为真或假）的人群，以及一项对检测癌症返回阳性或阴性结果（测试为阳性或阴性）的医学测试，例如用于检测乳腺癌的乳房X光检查。

问题：如果一个随机选择的患者接受了测试并结果为阳性，那么该患者患有癌症的概率是多少？

手动计算

医疗诊断测试并非完美无缺；它们存在误差。

有时患者患有癌症，但测试却无法检测出来。测试检测癌症的能力被称为灵敏度，或真阳性率。

在这种情况下，我们将人为地设定一个测试的灵敏度值。这项测试是好的，但并非出色，其真阳性率或灵敏度为85%。也就是说，在所有患有癌症并接受测试的人中，85%的人将得到阳性结果。

• P(测试=阳性 | 癌症=真) = 0.85

根据这些信息，我们的直觉会认为患者患癌症的概率是85%。

我们对概率的直觉是错误的。

这种解释概率的错误非常常见，以至于它有自己的名称；它被称为基线谬误。

它之所以有这个名字，是因为对事件概率的估计误差是由于忽略了基线造成的。也就是说，它忽略了随机选择的人患癌症的概率，而不管诊断测试的结果如何。

在这种情况下，我们可以假设乳腺癌的概率很低，并使用每5000人中1人（即0.0002）或0.02%的人为基线值。

• P(癌症=真) = 0.02%。

我们可以使用贝叶斯定理正确计算出在测试结果为阳性的情况下，患者患癌症的概率。

让我们将我们的场景映射到方程上

• P(A|B) = P(B|A) * P(A) / P(B)
• P(癌症=真 | 测试=阳性) = P(测试=阳性|癌症=真) * P(癌症=真) / P(测试=阳性)

我们知道在患者患癌症的情况下，测试结果为阳性的概率是 85%，我们也知道随机患者患癌症的基线或先验概率是 0.02%；我们可以将这些值代入

• P(癌症=真 | 测试=阳性) = 0.85 * 0.0002 / P(测试=阳性)

我们不知道 P(测试=阳性)，它没有直接给出。

相反，我们可以用以下方法估算它

• P(B) = P(B|A) * P(A) + P(B|非 A) * P(非 A)
• P(测试=阳性) = P(测试=阳性|癌症=真) * P(癌症=真) + P(测试=阳性|癌症=假) * P(癌症=假)

首先，我们可以计算 P(癌症=假) 作为 P(癌症=真) 的补集，我们已经知道了 P(癌症=真)

• P(癌症=假) = 1 – P(癌症=真)
• = 1 – 0.0002
• = 0.9998

让我们把我们拥有的信息代入

我们可以将已知值代入如下

• P(测试=阳性) = 0.85 * 0.0002 + P(测试=阳性|癌症=假) * 0.9998

我们仍然不知道在没有癌症的情况下，测试结果为阳性的概率。

这需要额外的信息。

具体来说，我们需要知道测试在正确识别未患癌症的人方面的准确性如何。也就是说，在患者未患癌症（癌症=假）时，测试结果为阴性（测试=阴性），这称为真阴性率或特异性。

我们将使用人为设定的95%特异性值。

• P(测试=阴性 | 癌症=假) = 0.95

有了这最后一条信息，我们可以将假阳性或假警报率计算为真阴性率的补集。

• P(测试=阳性|癌症=假) = 1 – P(测试=阴性 | 癌症=假)
• = 1 – 0.95
• = 0.05

我们可以将这个误报率代入我们对 P(测试=阳性) 的计算中，如下所示

• P(测试=阳性) = 0.85 * 0.0002 + 0.05 * 0.9998
• P(测试=阳性) = 0.00017 + 0.04999
• P(测试=阳性) = 0.05016

太棒了，所以无论一个人是否患有癌症，测试返回阳性结果的概率约为 5%。

我们现在有足够的信息来计算贝叶斯定理，并估计随机选择的人在得到阳性测试结果后患癌症的概率。

• P(癌症=真 | 测试=阳性) = P(测试=阳性|癌症=真) * P(癌症=真) / P(测试=阳性)
• P(癌症=真 | 测试=阳性) = 0.85 * 0.0002 / 0.05016
• P(癌症=真 | 测试=阳性) = 0.00017 / 0.05016
• P(癌症=真 | 测试=阳性) = 0.003389154704944

计算结果表明，如果患者被告知患有癌症，那么他们实际患癌症的几率只有0.33%。

这是一个糟糕的诊断测试！

这个例子也表明，条件概率的计算需要足够的信息。

例如，如果我们已经有了贝叶斯定理中使用的值，我们可以直接使用它们。

这种情况很少发生，我们通常需要计算所需的各个部分并将其代入，就像我们在这个案例中所做的那样。在我们的场景中，我们得到了3条信息：基线率、灵敏度（或真阳性率）和特异性（或真阴性率）。

• 灵敏度：85%的癌症患者将得到阳性检测结果。
• 基线率：0.02%的人患有癌症。
• 特异性：95%的非癌症患者将得到阴性检测结果。

我们没有 P(测试=阳性)，但我们根据已有的信息计算出来了。

我们可以想象，贝叶斯定理让我们对给定场景更加精确。例如，如果我们有关于患者的更多信息（例如他们的年龄）和关于领域的信息（例如不同年龄段的癌症发病率），我们就能提供更准确的概率估计。

这需要大量工作。

让我们看看如何使用几行 Python 代码来计算这个确切的场景。

Python代码计算

为了使这个例子具体化，我们可以在 Python 中执行计算。

以下示例在纯 Python（无库）中执行相同的计算，允许您调整参数并测试不同的场景。

运行该示例会计算出在测试结果为阳性的情况下，患者患癌症的概率，与我们的手动计算结果一致。

这是一个有用的脚本，您可能希望将其改编用于新场景。

现在，在二元分类中，通常使用二元分类的术语来描述贝叶斯定理的计算。它提供了一种非常直观的思考问题的方式。在下一节中，我们将回顾这些术语，并看看它们如何映射到定理中的概率以及它们如何与我们的场景相关联。

二元分类器术语

以二元（两类）分类的常见术语来思考癌症检测示例可能会有帮助，即特异性和敏感性的概念来源。

就我个人而言，这些术语有助于理解一切。

首先，让我们定义一个混淆矩阵

然后我们可以从混淆矩阵中定义一些比率

• 真阳性率 (TPR) = TP / (TP + FN)
• 假阳性率 (FPR) = FP / (FP + TN)
• 真阴性率 (TNR) = TN / (TN + FP)
• 假阴性率 (FNR) = FN / (FN + TP)

这些术语被称为“率”，但也可以解释为“概率”。

另外，值得注意的是

• TPR + FNR = 1.0，或
  • FNR = 1.0 – TPR
  • TPR = 1.0 – FNR
• TNR + FPR = 1.0，或
  • TNR = 1.0 – FPR
  • FPR = 1.0 – TNR

回想一下，在前面的章节中，我们计算了假阳性率，它是真阴性率的补集，即 FPR = 1.0 – TNR。

其中一些比率有特殊的名称，例如

• 灵敏度 = TPR
• 特异性 = TNR

我们可以将这些比率映射到贝叶斯定理中熟悉的术语上

• P(B|A)：真阳性率 (TPR)。
• P(非 B|非 A)：真阴性率 (TNR)。
• P(B|非 A)：假阳性率 (FPR)。
• P(非 B|A)：假阴性率 (FNR)。

我们还可以将条件（类别）和治疗（预测）的基线率映射到贝叶斯定理中熟悉的术语上

• P(A)：阳性类别 (PC) 的概率。
• P(非 A)：阴性类别 (NC) 的概率。
• P(B)：阳性预测 (PP) 的概率。
• P(非 B)：阴性预测 (NP) 的概率。

现在，让我们用这些术语来考虑贝叶斯定理

• P(A|B) = P(B|A) * P(A) / P(B)
• P(A|B) = (TPR * PC) / PP

我们通常无法计算 P(B)，因此我们使用另一种方法

• P(B) = P(B|A) * P(A) + P(B|非 A) * P(非 A)
• P(B) = TPR * PC + FPR * NC

现在，让我们看看我们的癌症和癌症检测测试的场景。

类别或条件将是“癌症”，而治疗或预测将是“测试”。

首先，让我们回顾一下所有的比率

• 真阳性率 (TPR)：85%
• 假阳性率 (FPR)：5%
• 真阴性率 (TNR)：95%
• 假阴性率 (FNR)：15%

我们再回顾一下关于基线率的知识

• 阳性类别 (PC)：0.02%
• 阴性类别 (NC)：99.98%
• 阳性预测 (PP)：5.016%
• 阴性预测 (NP)：94.984%

代入各项，我们可以计算出阳性测试结果（阳性预测）的概率为：给定癌症的阳性测试结果概率（真阳性率）乘以患癌症的基线率（阳性类别），加上给定无癌症的阳性测试结果概率（假阳性率）乘以未患癌症的概率（阴性类别）。

用这些术语计算如下

• P(B) = P(B|A) * P(A) + P(B|非 A) * P(非 A)
• P(B) = TPR * PC + FPR * NC
• P(B) = 85% * 0.02% + 5% * 99.98%
• P(B) = 5.016%

然后我们可以根据贝叶斯定理计算出该场景的概率，即在测试结果为阳性的情况下患癌症的概率（后验）等于在患癌症的情况下测试结果为阳性的概率（真阳性率）乘以患癌症的概率（阳性类别率），再除以测试结果为阳性的概率（阳性预测）。

用这些术语计算如下

• P(A|B) = P(B|A) * P(A) / P(B)
• P(A|B) = TPR * PC / PP
• P(A|B) = 85% * 0.02% / 5.016%
• P(A|B) = 0.339%

结果表明，在这种情况下，我们用贝叶斯定理计算的后验概率等同于混淆矩阵中的精确率，也称为阳性预测值 (PPV)。

• PPV = TP / (TP + FP)

或者，用我们的分类器术语来说

• P(A|B) = PPV
• PPV = TPR * PC / PP

那么，我们为什么要费力计算后验概率呢？

因为我们没有一个同时包含患癌和未患癌人群的混淆矩阵，这些人既接受了测试也未接受测试。相反，我们只有关于我们人群和测试的一些先验和概率。

这突出了我们何时可能选择在实践中使用这种计算方法。

具体来说，当我们对所涉及的事件有信念，但无法通过统计现实世界中的例子来进行计算时。

用于建模假设的贝叶斯定理

贝叶斯定理是应用机器学习中一个有用的工具。

它提供了一种思考数据与模型之间关系的方式。

机器学习算法或模型是一种思考数据中结构化关系的特定方式。通过这种方式，模型可以被视为关于数据中关系的假设，例如输入（X）和输出（y）之间的关系。应用机器学习的实践是在给定数据集上测试和分析不同的假设（模型）。

如果将模型视为假设这一想法对您来说是新的，请参阅此主题的教程

• 什么是机器学习中的假设？

贝叶斯定理提供了一个概率模型来描述数据（D）和假设（h）之间的关系；例如

• P(h|D) = P(D|h) * P(h) / P(D)

分解开来，它表示给定一些观测数据，一个给定假设成立或为真的概率可以计算为在给定假设的情况下观测到数据的概率乘以无论数据如何假设为真的概率，再除以无论假设如何观测到数据的概率。

贝叶斯定理提供了一种根据假设的先验概率、给定假设观察到各种数据的概率以及观察到的数据本身来计算假设概率的方法。

——摘自《机器学习》，1997年，第156页。

在此框架下，计算的每个部分都有一个特定名称；例如

• P(h|D)：假设的后验概率（我们想要计算的东西）。
• P(h)：假设的先验概率。

这为思考和建模机器学习问题提供了一个有用的框架。

如果我们对假设有一些先验领域知识，这些知识就体现在先验概率中。如果没有，那么所有假设可能具有相同的先验概率。

如果观察数据的概率P(D)增加，那么在给定数据P(h|D)的情况下假设成立的概率就会减少。反之，如果假设P(h)的概率和在给定假设下观察数据的概率增加，则在给定数据P(h|D)的情况下假设成立的概率就会增加。

在应用机器学习中，在数据集上测试不同模型的概念可以被视为估计每个假设（H 中的 h1、h2、h3、...）在给定观测数据下为真的概率。

在建模中，寻求具有最大后验概率的优化或假设被称为最大后验或简称MAP。

任何这种最大可能的假设都被称为最大后验（MAP）假设。我们可以通过使用贝叶斯定理计算每个候选假设的后验概率来确定MAP假设。

——摘自《机器学习》，1997年，第157页。

在此框架下，数据 (D) 的概率是常数，因为它用于评估每个假设。因此，可以从计算中删除它，以给出简化的非标准化估计，如下所示

• max h in H P(h|D) = P(D|h) * P(h)

如果我们没有任何关于正在测试的假设的先验信息，它们可以被赋予一个均匀概率，并且这个项也将是一个常数，可以从计算中删除，得到以下结果

• max h in H P(h|D) = P(D|h)

也就是说，目标是找到最能解释观测数据的假设。

拟合像线性回归（用于预测数值）和逻辑回归（用于二元分类）这样的模型，可以在 MAP 概率框架下进行构建和解决。这提供了对更常见的最大似然估计（MLE）框架的替代方法。

用于分类的贝叶斯定理

分类是一个预测建模问题，涉及将标签分配给给定的输入数据样本。

分类预测建模问题可以表述为计算给定数据样本的类别标签的条件概率，例如

• P(类别|数据) = (P(数据|类别) * P(类别)) / P(数据)

其中 P(类别|数据) 是给定数据的类别的概率。

可以对问题中的每个类别执行此计算，并选择概率最大的类别并将其分配给输入数据。

在实践中，为分类问题计算完整的贝叶斯定理非常具有挑战性。

如果数据集能够很好地代表更广泛的问题，那么类别的先验概率和数据的先验概率很容易从训练数据集中估计出来。

基于类别 P(数据|类别) 的观测条件概率在实践中是不可行的，除非样本数量非常庞大，例如足以有效估计所有不同可能值组合的概率分布。这种情况几乎从未出现过，我们将无法充分覆盖该领域。

因此，贝叶斯定理的直接应用也变得难以处理，特别是当变量或特征 (n) 的数量增加时。

朴素贝叶斯分类器

使用贝叶斯定理构建条件概率分类模型的解决方案是简化计算。

贝叶斯定理假设每个输入变量都依赖于所有其他变量。这是计算复杂性的一个原因。我们可以消除这个假设，并将每个输入变量视为相互独立。

这将模型从依赖条件概率模型更改为独立条件概率模型，并大大简化了计算。

这意味着我们分别计算每个输入变量的 P(数据|类别)，并将结果相乘，例如

• P(类别 | X1, X2, …, Xn) = P(X1|类别) * P(X2|类别) * … * P(Xn|类别) * P(类别) / P(数据)

我们还可以省略观察数据的概率，因为它对所有计算来说都是一个常数，例如

• P(类别 | X1, X2, …, Xn) = P(X1|类别) * P(X2|类别) * … * P(Xn|类别) * P(类别)

这种对贝叶斯定理的简化在分类预测建模问题中很常见且广泛使用，通常被称为朴素贝叶斯。

“朴素”一词源自法语，通常在“i”上带有分音符（变音符号），但为了简洁起见通常省略；“贝叶斯”则大写，因为它以托马斯·贝叶斯牧师的名字命名。

有关如何从头开始在 Python 中实现朴素贝叶斯的教程，请参阅

• 如何在 Python 中从零开始开发朴素贝叶斯分类器
• 用 Python 从零开始实现朴素贝叶斯分类器

贝叶斯最优分类器

贝叶斯最优分类器是一种概率模型，它根据训练数据集对新示例进行最可能性的预测。

此模型也称为贝叶斯最优学习器、贝叶斯分类器、贝叶斯最优决策边界或贝叶斯最优判别函数。

• 贝叶斯分类器：一种概率模型，可以对新示例进行最可能性的预测。

具体来说，贝叶斯最优分类器回答了以下问题

给定训练数据，新实例最可能的分类是什么？

这与寻找最可能假设（模型）的MAP框架不同。相反，我们感兴趣的是进行特定预测。

下面的方程演示了如何计算给定训练数据 (D) 的新实例 (vi) 的条件概率，给定假设空间 (H)。

• P(vj | D) = sum {h in H} P(vj | hi) * P(hi | D)

其中 vj 是要分类的新实例，H 是用于分类实例的假设集合，hi 是给定假设，P(vj | hi) 是 vi 在给定假设 hi 下的后验概率，而 P(hi | D) 是假设 hi 在给定数据 D 下的后验概率。

选择具有最大概率的结果是贝叶斯最优分类的一个例子。

任何使用此方程对示例进行分类的模型都是贝叶斯最优分类器，平均而言，没有其他模型能够超越此技术。

我们必须消化一下。这是一件大事。

因为贝叶斯分类器是最优的，所以贝叶斯误差是可能产生的最小误差。

• 贝叶斯误差：进行预测时可能产生的最小误差。

它是一个理论模型，但它被视为我们可能追求的理想。

朴素贝叶斯分类器是添加了一些简化假设并试图逼近贝叶斯最优分类器的一个分类器示例。

有关贝叶斯最优分类器的更多信息，请参阅教程

• 贝叶斯最优分类器简明入门

贝叶斯定理在机器学习中的更多用途

开发分类器模型可能是贝叶斯定理在机器学习中最常见的应用。

然而，还有许多其他应用。两个重要的例子是优化和因果模型。

贝叶斯优化

全局优化是一个具有挑战性的问题，旨在找到一个输入，使得给定目标函数的成本最小或最大。

通常，目标函数的具体形式复杂且难以分析，并且通常是非凸、非线性、高维、带噪声且计算成本高昂。

贝叶斯优化提供了一种基于贝叶斯定理的原则性技术，用于指导全局优化问题的搜索，该技术高效且有效。它通过构建目标函数的概率模型（称为代理函数），然后使用采集函数高效地搜索该代理函数，最后选择候选样本在实际目标函数上进行评估。

贝叶斯优化在应用机器学习中常用于在验证数据集上调整给定性能良好模型的超参数。

有关贝叶斯优化的更多信息，包括如何从头开始实现它，请参阅教程

• 如何在 Python 中从零开始实现贝叶斯优化

贝叶斯信念网络

概率模型可以定义变量之间的关系并用于计算概率。

完全条件模型可能需要大量数据才能覆盖所有可能情况，并且在实践中计算概率可能难以处理。简化假设（如所有随机变量的条件独立性）可能有效，例如在朴素贝叶斯的情况下，尽管这是一个极大的简化步骤。

另一种方法是开发一个模型，该模型保留随机变量之间已知的条件依赖关系，并在所有其他情况下保留条件独立性。贝叶斯网络是一种概率图模型，它通过图模型中的有向边明确捕获已知的条件依赖关系。所有缺失的连接都定义了模型中的条件独立性。

因此，贝叶斯网络提供了一个有用的工具，用于可视化领域的概率模型，审查随机变量之间的所有关系，并根据现有证据推断场景的因果概率。

这些网络并非严格意义上的贝叶斯网络，尽管考虑到随机变量（节点）的概率分布和随机变量（边）之间的关系都是主观指定的，因此该模型可以被认为捕捉了对复杂领域的“信念”。

有关贝叶斯信念网络的更多信息，请参阅教程

• 贝叶斯信念网络简明入门

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

相关教程

• 联合、边缘和条件概率的简明介绍
• 什么是机器学习中的假设？
• 如何在 Python 中从零开始开发朴素贝叶斯分类器
• 用 Python 从零开始实现朴素贝叶斯分类器
• 如何在 Python 中从零开始实现贝叶斯优化
• 贝叶斯信念网络简明入门

书籍

• 模式识别与机器学习, 2006.
• 机器学习, 1997.
• 模式分类，第二版, 2001.
• 机器学习：概率视角, 2012.

文章

• 条件概率, 维基百科.
• 贝叶斯定理，维基百科.
• 最大后验概率估计，维基百科.
• 假阳性与假阴性，维基百科.
• 基线谬误，维基百科.
• 敏感性与特异性，维基百科.
• 消除混淆矩阵中的混淆, 2016.

总结

在这篇文章中，您了解了贝叶斯定理如何计算条件概率以及它在机器学习中的应用。

具体来说，你学到了：

• 什么是贝叶斯定理以及如何在一个真实场景中进行计算。
• 贝叶斯定理计算中各项的含义以及其背后的直觉。
• 贝叶斯定理在分类器、优化和因果模型中的应用示例。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌握机器学习中的概率！

增进你对概率的理解

...只需几行python代码

在我的新电子书中探索如何实现
机器学习概率

它提供了关于以下内容的自学教程和端到端项目：
贝叶斯定理、贝叶斯优化、分布、最大似然、交叉熵、校准模型
以及更多...

最终在你的项目中驾驭不确定性

跳过学术理论。只看结果。

查看内容