什么是机器学习中的假设？

有监督的机器学习通常被描述为近似一个将输入映射到输出的目标函数的问题。

这个描述被认为是搜索和评估假设空间中的候选假设。

在机器学习中讨论假设对于初学者来说可能令人困惑，尤其是当“假设”在统计学（例如 统计假设检验）和更广泛的科学领域（例如科学假设）中具有不同但相关的含义时。

在本文中，您将了解科学、统计学和机器学习中假设之间的区别。

阅读本文后，你将了解：

• 科学假设是对观测结果的一种初步解释，它是可证伪的。
• 统计假设是关于数据总体之间关系的解释，其解释具有概率性。
• 机器学习假设是逼近输入到输出映射的目标函数的候选模型。

让我们开始吧。

机器学习假设的初步介绍
图片来自 Bernd Thaller，保留部分权利。

概述

本教程分为四个部分；它们是

1. 什么是假设？
2. 统计学中的假设
3. 机器学习中的假设
4. 假设回顾

什么是假设？

假设是对某事的解释。

它是一个初步的想法，一个需要评估的经过教育的猜测。

一个好的假设是可检验的；它可以是真的，也可以是假的。

在科学中，假设必须是可证伪的，这意味着存在一个测试，其结果可能意味着假设不成立。假设还必须在测试结果已知之前就已确定。

… 并非所有假设都行。任何假设或假设系统都必须满足一个基本条件，才能被授予科学定律或理论的地位。如果它要构成科学的一部分，假设就必须是可证伪的。

— 第 61-62 页，《科学是什么？》，第三版，1999 年。

一个好的假设符合证据，并且可以用来对新观测或新情况做出预测。

最符合证据并可用于做出预测的假设被称为理论，或理论的一部分。

• 科学中的假设：初步解释，符合证据，可被证实或证伪。

统计学中什么是假设？

统计学的大部分内容都与观测值之间的关系有关。

统计假设检验技术用于计算一个称为“效应”的 临界值。然后可以解释临界值，以确定如果关系不存在，观察到该效应的可能性有多大。

如果可能性非常小，那么它表明该效应可能是真实的。如果可能性很大，那么我们可能观察到了统计上的波动，并且该效应可能不是真实的。

例如，我们可能对评估两个样本均值之间的关系感兴趣，例如样本是否来自同一分布，它们之间是否存在差异。

一种假设是，根据数据样本，总体均值之间没有差异。

这是一种无效应假设，称为零假设，我们可以使用统计假设检验来拒绝此假设，或不拒绝（保留）它。我们不说是“接受”，因为结果是概率性的，即使概率很小，仍然可能出错。

… 我们会形成一个假设，并建立一个我们用来决定是保留还是拒绝我们假设的标准。社会科学研究中最感兴趣的假设是零假设

— 第 64-65 页，《通俗统计学》，第三版，2010 年。

如果拒绝了零假设，那么我们就假设备择假设，即均值之间存在某种差异。

• 零假设 (H0)：表明无效应。
• 备择假设 (H1)：表明存在某种效应。

统计假设检验不评论效应的大小，只根据观察到的数据样本，评论总体中效应存在或不存在的可能性。

• 统计学中的假设：关于观测值之间存在关系的概率性解释。

机器学习中什么是假设？

机器学习，特别是监督学习，可以被描述为使用可用数据来学习最佳映射输入到输出的函数。

从技术上讲，这是一个称为函数逼近的问题，我们正在逼近一个未知的目标函数（我们假设它存在），该函数可以最好地将输入映射到问题域所有可能观测值的输出。

逼近目标函数并执行输入到输出映射的模型示例称为机器学习中的假设。

算法的选择（例如神经网络）和算法的配置（例如网络拓扑和超参数）定义了模型可能表示的假设空间。

机器学习算法的学习涉及 在所选的假设空间中导航，以找到最佳或足够好的假设，从而最好地逼近目标函数。

学习是通过可能的假设空间进行搜索，以找到一个即使在训练集之外的新示例也能表现良好的假设。

— 第 695 页，《人工智能：一种现代方法》，第二版，2009 年。

这种机器学习的框架很常见，有助于理解算法的选择、学习和泛化问题，甚至偏差-方差权衡。例如，训练数据集用于学习假设，测试数据集用于评估它。

使用一种常见的表示法，其中小写 h (h) 表示给定的特定假设，大写 H (H) 表示正在搜索的假设空间。

• h (假设)：一个特定的假设，例如一个实例或特定的候选模型，它可以将输入映射到输出，并且可以被评估和用于做出预测。
• H (假设集)：一个可能的假设空间，用于将输入映射到输出，可以通过搜索来找到，通常受问题框架、模型选择和模型配置选择的约束。

算法和算法配置的选择涉及选择一个假设空间，该空间被认为包含一个能够很好地或最好地逼近目标函数的假设。这极具挑战性，而且通常更有效的方法是抽样检查一系列不同的假设空间。

如果我们选择的假设空间包含真实函数，我们就说学习问题是可实现的。不幸的是，我们不能总是确定给定的学习问题是否可实现，因为我们不知道真实函数。

— 第 697 页，《人工智能：一种现代方法》，第二版，2009 年。

这是一个难题，我们选择限制假设空间的大小和所评估假设的复杂度，以使搜索过程易于处理。

假设空间的表达能力与在该空间中寻找一个好的假设的复杂性之间存在权衡。

— 第 697 页，《人工智能：一种现代方法》，第二版，2009 年。

• 机器学习中的假设：逼近将输入示例映射到输出的候选模型。

假设回顾

我们可以再次总结这三个定义如下

• 科学中的假设：初步解释，符合证据，可被证实或证伪。
• 统计学中的假设：关于观测值之间存在关系的概率性解释。
• 机器学习中的假设：逼近将输入示例映射到输出的候选模型。

我们可以看到，机器学习中的假设借鉴了科学中对假设更广泛的定义。

就像科学中的假设是涵盖现有证据、可证伪并可用于对未来新情况做出预测的解释一样，机器学习中的假设也具有类似的属性。

机器学习中的假设

1. 涵盖现有证据：训练数据集。
2. （某种程度上）可证伪：预先设计测试程序，用于估计性能并将其与基线模型进行比较，以确定其是否有效。
3. 可用于新情况：对新数据进行预测。

本文是否解决了您关于机器学习中假设的疑问？
在下面的评论中告诉我。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

书籍

• 《科学是什么？》，第三版，1999 年。
• 《通俗统计学》，第三版，2010 年。
• 《人工智能：一种现代方法》，第二版，2009 年。
• 机器学习, 1997.

文章

• 将应用机器学习作为一个搜索问题的简明介绍
• 统计假设检验简明入门
• 统计假设检验的临界值及 Python 计算方法
• Python 中的 15 种统计假设检验（速查表）

讨论

• 机器学习中的假设是什么？，Quora.
• 在机器学习的背景下，假设空间究竟是什么？，Cross Validated.
• 机器学习中的假设集是什么？，Cross Validated.

文章

• 假设，维基百科.
• 统计假设检验，维基百科.

总结

在本文中，您发现了科学、统计学和机器学习中假设之间的区别。

具体来说，你学到了：

• 科学假设是对观测结果的一种初步解释，它是可证伪的。
• 统计假设是关于数据总体之间关系的解释，其解释具有概率性。
• 机器学习假设是逼近输入到输出映射的目标函数的候选模型。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。