机器学习统计学（7 天迷你课程）

机器学习统计学速成课程。

在7天内掌握机器学习中使用的统计学知识。

统计学是数学的一个领域，被普遍认为是更深入理解机器学习的先决条件。

虽然统计学是一个庞大的领域，有许多深奥的理论和发现，但机器学习从业者需要掌握该领域的基本工具和符号。只要对统计学是什么有坚实的基础，就有可能只关注那些好的或相关的部分。

在这个速成课程中，您将发现在七天内，如何开始并自信地阅读和用Python实现机器学习中使用的统计方法。

这是一篇内容丰富且重要的文章。您可能想把它加入书签。

通过我的新书《机器学习统计学》来启动您的项目，书中包含分步教程以及所有示例的Python源代码文件。

让我们开始吧。

机器学习统计学（7 天迷你课程）
照片由Graham Cook拍摄，保留部分权利。

本速成课程适合谁？

在开始之前，让我们确保您来对了地方。

本课程面向可能了解一些应用机器学习的开发人员。也许您知道如何使用流行工具从头到尾解决一个预测建模问题，或者至少了解大部分主要步骤。

本课程的课程假设您具备以下几点：

• 您熟悉基本的Python编程。
• 您可能了解一些基本的NumPy用于数组操作。
• 您想学习统计学以加深对机器学习的理解和应用。

您不需要知道：

• 您不需要是数学天才！
• 您不需要是机器学习专家！

本速成课程将带您从一个略懂机器学习的开发人员，成长为能够掌握统计方法基础知识的开发人员。

注意：本速成课程假设您有一个可用的Python3 SciPy环境，并且至少安装了NumPy。如果您在环境配置上需要帮助，可以按照此处的逐步教程进行操作：

• 如何使用Anaconda为机器学习和深度学习设置Python环境

速成课程概览

本速成课程分为七节课。

您可以每天完成一节课（推荐），或者在一天内完成所有课程（硬核）。这真的取决于您的可用时间和热情程度。

以下是七节课的列表，将帮助您开始并高效地在Python中应用统计学进行机器学习：

• 第01课：统计学与机器学习
• 第02课：统计学导论
• 第03课：高斯分布与描述性统计
• 第04课：变量间的相关性
• 第05课：统计假设检验
• 第06课：估计统计学
• 第07课：非参数统计学

每节课可能需要60秒到30分钟不等。请慢慢来，按照自己的节奏完成课程。在下面的评论中提问，甚至发布结果。

这些课程希望您能自己去寻找做事的方法。我会给您提示，但每节课的部分目的就是迫使您学会去哪里寻找关于统计方法、NumPy API以及Python中最佳工具的帮助（提示：我在这个博客上直接提供了所有答案；请使用搜索框）。

在评论中发布您的结果；我会为您加油！

坚持下去；不要放弃。

注意：这只是一个速成课程。有关更多细节和详细教程，请参阅我关于该主题的书籍《机器学习统计方法》。

第01课：统计学与机器学习

在本课中，您将发现机器学习从业者应该加深对统计学理解的五个原因。

1. 统计学在数据准备中的应用

在为机器学习模型准备训练和测试数据时，需要使用统计方法。

这包括以下技术：

• 异常值检测。
• 缺失值插补。
• 数据采样。
• 数据缩放。
• 变量编码。

等等。

对数据分布、描述性统计和数据可视化的基本理解是必需的，以帮助您在执行这些任务时选择合适的方法。

2. 统计学在模型评估中的应用

在评估机器学习模型在训练期间未见过的数据上的性能时，需要使用统计方法。

这包括以下技术：

• 数据采样。
• 数据重采样。
• 实验设计。

像k折交叉验证这样的重采样技术通常被机器学习从业者所熟知，但为什么需要这种方法的理由却不甚了解。

3. 统计学在模型选择中的应用

在为预测建模问题选择最终模型或模型配置时，需要使用统计方法。

这些技术包括：

• 检查结果之间是否存在显著差异。
• 量化结果之间差异的大小。

这可能包括使用统计假设检验。

4. 统计学在模型展示中的应用

向利益相关者展示最终模型的性能时，需要使用统计方法。

这包括以下技术：

• 总结模型的平均预期性能。
• 量化模型在实践中性能的预期变异性。

这可能包括估计统计，如置信区间。

5. 统计学在预测中的应用

当使用最终模型对新数据进行预测时，需要使用统计方法。

这包括以下技术：

• 量化预测的预期变异性。

这可能包括估计统计，如预测区间。

您的任务

对于本课，您必须列出您个人想要学习统计学的三个原因。

请在下面的评论中发布您的答案。我很想看看您能想出什么。

在下一课中，您将发现统计学的一个简明定义。

第02课：统计学导论

在本课中，您将发现统计学的一个简明定义。

对于大多数应用机器学习的书籍和课程来说，统计学是必需的先决条件。但统计学究竟是什么？

统计学是数学的一个子领域。它指的是一套处理数据并使用数据来回答问题的方法集合。

由于该领域是由处理数据的大杂烩方法组成的，因此对于初学者来说，它可能显得庞大而无形。很难看出哪些方法属于统计学，哪些方法属于其他研究领域。

当涉及到我们在实践中使用的统计工具时，将统计学领域划分为两大类方法会很有帮助：用于总结数据的描述性统计，和用于从数据样本中得出结论的推断性统计。

• 描述性统计：描述性统计指的是将原始观测数据总结为我们可以理解和分享的信息的方法。
• 推断性统计：推断性统计是一个听起来很高级的名字，它指的是那些帮助从一个称为样本的较小观察集合中量化领域或总体属性的方法。

您的任务

对于本课，您必须列出三种可用于描述性统计和推断性统计的方法。

请在下面的评论中发布您的答案。我很想看看您会发现什么。

在下一课中，您将学习高斯分布以及如何计算汇总统计量。

第03课：高斯分布与描述性统计

在本课中，您将学习数据的高斯分布以及如何计算简单的描述性统计量。

数据样本是从一个更广泛的总体中获取的快照，该总体包含了从一个领域或由一个过程生成的所有可能观察值。

有趣的是，许多观察值都符合一种常见的模式或分布，称为正态分布，或者更正式地称为高斯分布。它就是您可能熟悉的钟形分布。

关于高斯分布已经有很多已知知识，因此，有一些统计学和统计方法的子领域可以专门用于处理高斯数据。

任何高斯分布，以及从高斯分布中抽取的任何数据样本，都可以用两个参数来概括：

• 均值（Mean）：分布的中心趋势或最可能的值（钟形的顶点）。
• 方差（Variance）：观测值与均值的平均差异（分布的离散程度）。

均值的单位与分布的单位相同，但方差的单位是平方的，因此更难解释。方差参数的一个常用替代是标准差（standard deviation），它就是方差的平方根，使得单位恢复到与分布单位相同。

均值、方差和标准差可以直接在NumPy中对数据样本进行计算。

下面的例子生成了一个包含100个随机数的样本，这些数是从一个已知均值为50、标准差为5的高斯分布中抽取的，并计算了汇总统计量。

运行该示例，并将估计的均值和标准差与期望值进行比较。

您的任务

对于本课，您必须在Python中从头实现一个描述性统计量的计算，例如计算样本均值。

请在下面的评论中发布您的答案。我很想看看您会发现什么。

在下一课中，您将学习如何量化两个变量之间的关系。

第04课：变量间的相关性

在本课中，您将学习如何计算相关系数来量化两个变量之间的关系。

数据集中的变量可能因多种原因而相关。

在数据分析和建模中，更好地理解变量之间的关系非常有用。两个变量之间的统计关系称为它们的相关性。

相关性可以是正向的，意味着两个变量朝同一方向移动；也可以是负向的，意味着当一个变量的值增加时，另一个变量的值减少。

• 正相关：两个变量朝同一方向变化。
• 无相关：变量变化之间没有关系。
• 负相关：变量朝相反方向变化。

如果两个或多个变量紧密相关，即存在多重共线性，某些算法的性能可能会下降。一个例子是线性回归，其中应该移除一个有问题的相关变量以提高模型的性能。

我们可以使用一种名为皮尔逊相关系数（Pearson's correlation coefficient）的统计方法来量化两个变量样本之间的关系，该方法以其开发者卡尔·皮尔逊（Karl Pearson）的名字命名。

pearsonr() NumPy函数可以用来计算两个变量样本的皮尔逊相关系数。

下面列出了完整的示例，展示了当一个变量依赖于另一个变量时如何进行计算。

运行该示例并查看计算出的相关系数。

您的任务

对于本课，您必须加载一个标准的机器学习数据集，并计算每对数值变量之间的相关性。

请在下面的评论中发布您的答案。我很想看看您会发现什么。

在下一课中，您将学习统计假设检验。

第05课：统计假设检验

在本课中，您将学习统计假设检验以及如何比较两个样本。

数据必须经过解释才能赋予意义。我们可以通过假设我们的结果具有特定结构，并使用统计方法来确认或拒绝该假设来解释数据。

这种假设被称为假设，而用于此目的的统计检验被称为统计假设检验。

统计检验的假设被称为零假设（null hypothesis），或假设零（简写为H0）。它通常被称为默认假设，或者假设没有任何变化。对检验假设的违反通常被称为第一假设，假设一，或简写为H1。

• 假设0 (H0)：检验的假设成立，未能被拒绝。
• 假设1 (H1)：检验的假设不成立，在某个显著性水平上被拒绝。

我们可以使用p值来解释统计假设检验的结果。

p值是在零假设为真的情况下，观察到当前数据的概率。

概率大意味着H0或默认假设很可能是成立的。一个较小的值，例如低于5%（0.05），表明它不太可能成立，我们可以拒绝H0而支持H1，或者说某些东西很可能有所不同（例如，一个显著的结果）。

一个广泛使用的统计假设检验是学生t检验（Student's t-test），用于比较两个独立样本的均值。

默认假设是样本之间没有差异，而拒绝此假设则表明存在某种显著差异。该检验假定两个样本都来自高斯分布且具有相同的方差。

学生t检验可以通过SciPy的ttest_ind()函数在Python中实现。

以下是一个示例，展示了如何对两个已知存在差异的数据样本计算和解释学生t检验。

运行代码并查看计算出的统计量和对p值的解释。

您的任务

对于本课，您必须列出另外三种可用于检查样本间差异的统计假设检验。

请在下面的评论中发布您的答案。我很想看看您会发现什么。

在下一课中，您将学习作为统计假设检验替代方案的估计统计学。

第06课：估计统计学

在本课中，您将学习估计统计学，它可以作为统计假设检验的替代方法。

统计假设检验可以用来指示两个样本之间的差异是否由随机机会引起，但不能评论差异的大小。

一组被称为“新统计学”的方法正越来越多地被用于替代或补充p值，以量化效应的大小和估计值的不确定性。这组统计方法被称为估计统计学。

估计统计学是一个术语，用来描述三类主要的方法。这三大类
方法包括：

• 效应量：用于量化处理或干预措施所产生效应大小的方法。
• 区间估计：用于量化一个值中不确定性程度的方法。
• 元分析：用于量化多个相似研究结果的方法。

在这三者中，应用机器学习中最有用的方法可能是区间估计。

区间主要有三种类型。它们是：

• 容忍区间：在特定置信水平下，覆盖分布一定比例的界限。
• 置信区间：对总体参数估计的界限。
• 预测区间：对单个观测值的界限。

计算分类算法置信区间的一个简单方法是计算二项比例置信区间，这可以为模型的估计准确率或错误率提供一个区间。

这可以在Python中使用Statsmodels的confint()函数来实现。

该函数接受成功（或失败）次数、总试验次数和显著性水平作为参数，并返回置信区间的下限和上限。

下面的示例演示了在一个假设案例中该函数的用法：一个模型在包含100个实例的数据集上做出了88次正确预测，我们关心的是95%的置信区间（作为0.05的显著性水平提供给函数）。

运行该示例并查看估计准确率的置信区间。

您的任务

对于本课，您必须列出两种在应用机器学习中计算效应量的方法，并说明它们可能在何时有用。

作为提示，可以考虑一个用于变量间关系，另一个用于样本间差异。

请在下面的评论中发布您的答案。我很想看看您会发现什么。

在下一课中，您将学习非参数统计方法。

第07课：非参数统计学

在本课中，您将学习当您的数据不服从高斯分布时可以使用的统计方法。

统计学和统计方法的很大一部分是专门针对分布已知的数据。

分布未知或不易识别的数据称为非参数数据。

当您处理非参数数据时，可以使用专门的非参数统计方法，这些方法会舍弃所有关于分布的信息。因此，这些方法通常被称为免分布方法。

在应用非参数统计方法之前，必须将数据转换为秩格式。因此，期望数据为秩格式的统计方法有时被称为秩统计，例如秩相关和秩统计假设检验。对数据进行排序正如其名所示。

步骤如下：

• 将样本中所有数据按升序排序。
• 为数据样本中的每个唯一值分配一个从1到N的整数秩。

一种广泛使用的非参数统计假设检验，用于检查两个独立样本之间是否存在差异的是曼-惠特尼U检验（Mann-Whitney U test），以亨利·曼（Henry Mann）和唐纳德·惠特尼（Donald Whitney）的名字命名。

它是学生t检验的非参数等价物，但不假定数据来自高斯分布。

该检验可以通过SciPy的mannwhitneyu()函数在Python中实现。

下面的例子演示了对两个从均匀分布中抽取且已知存在差异的数据样本进行该检验。

运行该示例并查看计算出的统计量以及对p值的解释。

您的任务

对于本课，您必须列出另外三种非参数统计方法。

请在下面的评论中发布您的答案。我很想看看您会发现什么。

这是迷你课程的最后一课。

结束！
（看看您已经走了多远）

您做到了。干得好！

花点时间回顾一下您已经走了多远。

您发现了：

• 统计学在应用机器学习中的重要性。
• 统计学的简明定义，以及将方法分为两种主要类型。
• 高斯分布以及如何使用统计量描述服从此分布的数据。
• 如何量化两个变量样本之间的关系。
• 如何使用统计假设检验来检查两个样本之间的差异。
• 统计假设检验的替代方案，称为估计统计学。
• 当数据不服从高斯分布时可以使用的非参数方法。

这仅仅是您学习机器学习统计学之旅的开始。继续练习并发展您的技能。

迈出下一步，查阅我的书籍《机器学习统计方法》。

总结

您对这个迷你课程的学习情况如何？
您喜欢这个速成课程吗？

您有任何问题吗？有没有遇到什么难点？
告诉我。在下面留言。

掌握机器学习统计学！

培养对统计学的实用理解

...通过在 python 中编写代码

在我的新电子书中探索如何实现
机器学习的统计方法

它提供关于以下主题的自学教程：
假设检验、相关性、非参数统计、重采样，以及更多...

探索如何将数据转化为知识

跳过学术理论。只看结果。

查看内容