机器学习概率入门资源

机器学习是一个计算机科学领域，致力于开发能够从数据中学习的系统。

与统计学和线性代数一样，概率是支持机器学习的另一门基础领域。概率是一门数学领域，致力于量化不确定性。

机器学习的许多方面都存在不确定性，最关键的是来自问题域的观测以及模型从这些数据中学到的关系。因此，机器学习从业者需要对概率及其在该领域使用的工具和方法有一定的了解才能有效工作。也许一开始不是必需的，但肯定在长期来看是必需的。

在本文中，您将发现一些关键资源，您可以使用这些资源来学习机器学习所需的概率知识。

阅读本文后，你将了解：

• 您可以参考这些资源来发现概率的相关主题。
• 涵盖机器学习中概率主题的书籍、章节和部分。
• 基础概率主题与利用概率的机器学习方法之间的划分。

快速启动您的项目，阅读我的新书《机器学习中的概率》，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

机器学习概率入门资源
照片由 dragonseye 提供，保留部分权利。

概述

本教程分为三个部分；它们是：

1. 机器学习中的概率主题
2. 机器学习书籍中涵盖的概率
3. 基础概率 vs. 概率机器学习

机器学习中的概率主题

概率是一门庞大的数学领域，拥有许多引人入胜的发现和有用的工具。

尽管概率领域的许多内容可能对机器学习从业者很有趣，但并非所有内容都直接相关。因此，重要的是将概率领域的范围缩小到可以直接帮助从业者的方面。

一种方法可能是回顾概率主题并选择那些可能有用或相关的。

维基百科上有许多优秀的概览文章，可以作为起点。例如：

概率维基百科文章

• 概率，维基百科.
• 概率论，维基百科.
• 概率主题列表，维基百科.
• 概率论文章目录，维基百科。
• 概率与统计中的符号，维基百科.

另一个主题来源可能是面向高年级本科生和研究生的高质量概率教科书所涵盖的主题。

例如

概率教科书

• 概率论：科学的逻辑，2003.
• 概率导论，第二版，2019.
• 概率导论，第二版，2008.

这是一个不错的开端，但颇具挑战性，因为如何有效地将众多有趣的主题筛选出与应用机器学习最相关的内容呢？

这种方法的风险在于，会花费过多时间学习概率，并建立过于宽泛的领域基础（例如，效率低下）。

我更倾向于的方法是回顾顶级机器学习书籍对概率领域的覆盖。

这些书籍的作者既是机器学习领域的专家，也利用他们的专业知识将概率领域筛选出与机器学习领域最相关的部分。

机器学习书籍中涵盖的概率

有许多优秀的机器学习教科书，但在本文中，我们将回顾一些您可能拥有或可以参考的流行书籍的相关章节。它们是：

• 机器学习，1997.
• 模式识别与机器学习，2006.
• 数据挖掘：实用机器学习工具与技术，第4版，2016.
• 机器学习：概率视角，2012.
• 深度学习，2016.

让我们依次仔细看看每一个。

“机器学习”

汤姆·米切尔（Tom Mitchell）的里程碑式著作《机器学习》于1997年出版，它为许多从业者和后续书籍定义了该领域。

本书以下章节侧重于概率：

• 第 6 章：贝叶斯学习

本章专门讨论与机器学习相关的贝叶斯方法，包括：

• 第 6.2 节：贝叶斯定理
• 第 6.3 节：贝叶斯定理与概念学习
• 第 6.4 节：最大似然与最小二乘误差假设
• 第 6.5 节：预测概率的最大似然假设
• 第 6.6 节：最小描述长度原理
• 第 6.7 节：贝叶斯最优分类器
• 第 6.8 节：吉布斯算法
• 第 6.9 节：朴素贝叶斯分类器
• 第 6.10 节：示例：文本分类学习
• 第 6.11 节：贝叶斯信念网络
• 第 6.12 节：EM算法

“模式识别与机器学习”

克里斯托弗·毕晓普（Christopher Bishop）的杰作《模式识别与机器学习》建立在他之前的著作《模式识别神经网络》的基础上，并对其进行了扩展。

这很可能是许多现代从业者在机器学习研究生课程中使用的书籍。

本书以下章节侧重于概率：

• 第 1 章：引言
  • 第 1.2 节：概率论
  • 第 1.5 节：决策论
  • 第 1.6 节：信息论
• 第 2 章：概率分布

第二章致力于该主题，重点介绍概率分布并为密度估计奠定基础，涵盖以下主题：

• 2.1. 二元变量
• 2.2. 多项式变量
• 2.3. 高斯分布
• 2.4. 指数族
• 2.5. 非参数方法

“数据挖掘：实用机器学习工具与技术”

Witten 和 Frank（及其他作者）的《数据挖掘：实用机器学习工具与技术》已有多个版本，由于其实用性和 Weka 平台，已成为许多从业者进入该领域的入门途径。

本书以下章节侧重于概率：

• 第 4.2 节：简单概率建模
• 第 9 章：概率方法

第 4.2 节提供了介绍，而第 9 章深入探讨并涵盖了以下主题：

• 9.1. 基础
• 9.2. 贝叶斯网络
• 9.3. 聚类和点密度估计
• 9.4. 隐变量模型
• 9.5. 贝叶斯估计与预测
• 9.6. 图模型与因子图
• 9.7. 条件概率模型
• 9.8. 序列模型与时间模型
• 9.9. 进一步阅读和书目笔记
• 9.10. Weka 实现

“机器学习：概率视角”

凯文·墨菲（Kevin Murphy）于2013年出版的《机器学习：概率视角》是一本通过概率视角教授机器学习的教科书。

本书以下章节侧重于概率：

• 第 2 章：概率
• 第 5 章：贝叶斯统计
• 第 6 章：频率派统计

第 5 章和第 6 章侧重于构建在贝叶斯和频率派方法之上的机器学习方法，例如，侧重于分布估计。

第 2 章更侧重于所需的概率基础知识，包括以下子章节：

• 第 2.1 节：引言
• 第 2.2 节：概率论简要回顾
• 第 2.3 节：一些常见的离散分布
• 第 2.4 节：一些常见的连续分布
• 第 2.5 节：联合概率分布
• 第 2.6 节：随机变量的变换
• 第 2.7 节：蒙特卡罗近似
• 第 2.8 节：信息论。

“深度学习”

伊恩·古德费洛（Ian Goodfellow）等人的《深度学习》是2016年关于新兴的深度学习领域的里程碑式教科书。

本书第一部分题为“应用数学与机器学习基础”，涵盖了掌握深度学习神经网络所需的各种重要基础主题，包括概率。

本书以下章节侧重于概率：

• 第 3 章：概率与信息论

本章分为以下子章节：

• 3.1. 为什么需要概率？
• 3.2. 随机变量
• 3.3. 概率分布
• 3.4. 边缘概率
• 3.5. 条件概率
• 3.6. 条件概率的链式法则
• 3.7. 独立性和条件依赖性
• 3.8. 期望、方差和协方差
• 3.9. 常见概率分布
• 3.10. 常见函数的有用性质
• 3.11. 贝叶斯法则
• 3.12. 连续变量的技术细节
• 3.13. 信息论
• 3.14. 结构化概率模型

基础概率与概率机器学习

回顾顶级机器学习书籍中涵盖的章节和部分，可以清楚地看出概率在机器学习中有两个主要方面。

一是从业者为了普遍有效地进行机器学习而应熟悉的基础主题。我们可以称之为“面向机器学习的概率论”。

然后是明确从概率领域的工具和技术构建的机器学习方法。我们可以称之为“面向机器学习的概率方法”。

这并不是一个清晰的划分，因为有很多重叠，但它是划分的一个良好基础。

基础概率主题

这些是《深度学习》等书籍中涵盖的主题。它们也是机器学习课程的备忘单和复习资料的基础，例如斯坦福大学的“概率与统计复习”。

面向机器学习的概率论中的一些主题可能包括：概率公理、概率分布、概率矩、贝叶斯定理、联合、边缘和条件概率等。

这可能还包括更高级和相关的主题，例如：似然函数、最大似然估计、信息论中的熵、用于分布的蒙特卡罗和吉布斯采样，以及参数估计。

概率机器学习

这些是《机器学习：概率视角》较后章节中涵盖的主题。

面向机器学习的概率方法中的一些主题可能包括：密度估计、核密度估计、散度估计等。

这还将包括诸如朴素贝叶斯和图模型（如贝叶斯信念网络）之类的技术。

你觉得呢？
您会把哪些主题放在这个划分的两侧？

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

机器学习书籍

• 机器学习, 1997.
• 模式识别与机器学习, 2006.
• 数据挖掘：实用机器学习工具与技术，第4版，2016年。
• 机器学习：概率视角, 2012.
• 深度学习, 2016.

概率教科书

• 《概率论：科学的逻辑》, 2003
• 《概率导论》，第2版，2019年。
• 概率导论，第二版，2008。

文章

• 概率，维基百科.
• 概率论，维基百科.
• 概率主题列表，维基百科.
• 概率论文章目录，维基百科.
• 概率与统计中的符号，维基百科.
• 概率与统计复习，斯坦福.

总结

在本文中，您发现了可以用来学习机器学习所需的概率知识的关键资源。

具体来说，你学到了：

• 您可以参考这些资源来发现概率的相关主题。
• 涵盖机器学习中概率主题的书籍、章节和部分。
• 基础概率主题与利用概率的机器学习方法之间的划分。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌握机器学习中的概率！

增进你对概率的理解

...只需几行python代码

在我的新电子书中探索如何实现
机器学习概率

它提供了关于以下内容的自学教程和端到端项目：
贝叶斯定理、贝叶斯优化、分布、最大似然、交叉熵、校准模型
以及更多...

最终在你的项目中驾驭不确定性

跳过学术理论。只看结果。

查看内容