机器学习中的基本概念

什么是机器学习的基础概念？

我发现，要了解和掌握机器学习的基础概念，最好的方法是回顾机器学习教科书的介绍章节，并观看在线课程中第一个模型的视频。

Pedro Domingos 是华盛顿大学的机器学习讲师和教授，也是一本新书《万能算法：终极学习机器的探索将如何重塑我们的世界》的作者。

Domingos 在 Coursera 上有一个免费的机器学习在线课程，恰当地命名为“机器学习”。每个模块的视频都可以在 Coursera 上随时预览。

在这篇文章中，您将从 Domingos 的机器学习课程的第一周内容中总结出机器学习的基础概念。

机器学习中的基本概念
照片来源：Travis Wise，部分版权保留。

机器学习

讲座的前半部分是关于机器学习的总体主题。

什么是机器学习？

我们为什么要关心机器学习？

机器学习的一项突破将价值连城，抵得上十个微软。

— 比尔·盖茨，微软前董事长

机器学习就是让计算机自己编程。如果说编程是自动化，那么机器学习就是自动化自动化的过程。

编写软件是一个瓶颈，我们没有足够好的开发人员。让数据代替人们工作。机器学习是使编程可扩展的方法。

• 传统编程：数据和程序在计算机上运行以产生输出。
• 机器学习：数据和输出在计算机上运行以创建程序。此程序可用于传统编程。

机器学习就像农业或园艺。种子是算法，养分是数据，园丁是你，植物是程序。

传统编程 vs 机器学习

机器学习的应用

机器学习的示例应用

• 网络搜索：根据您最可能点击的内容对页面进行排名。
• 计算生物学：基于过去的实验，在计算机中进行理性药物设计。
• 金融：决定向谁发送哪些信用卡优惠。信用优惠的风险评估。如何决定在哪里投资。
• 电子商务：预测客户流失。交易是否欺诈。
• 太空探索：空间探测器和射电天文学。
• 机器人技术：如何在新环境中处理不确定性。自动驾驶。无人驾驶汽车。
• 信息提取：跨网络查询数据库。
• 社交网络：关系和偏好数据。机器学习从数据中提取价值。
• 调试：用于计算机科学问题，如调试。这是一个劳动密集型的过程。可以建议错误的可能位置。

您的兴趣领域是什么？您可以在该领域中使用机器学习做什么？

机器学习的关键要素

有数以万计的机器学习算法，每年都有数百种新算法被开发出来。

每种机器学习算法都包含三个组成部分

• 表示：如何表示知识。例如决策树、规则集、实例、图模型、神经网络、支持向量机、模型集成等。
• 评估：评估候选程序（假设）的方式。例如准确率、预测率和召回率、均方误差、似然、后验概率、成本、间隔、熵 k-L 散度等。
• 优化：生成候选程序的方式，也称为搜索过程。例如组合优化、凸优化、约束优化。

所有机器学习算法都是这三个组成部分的组合。这是理解所有算法的框架。

学习类型

有四种类型的机器学习

• 监督学习：（也称为归纳学习）训练数据包含期望的输出。这是垃圾邮件，这是不是，学习是受监督的。
• 无监督学习：训练数据不包含期望的输出。例如聚类。很难说什么是好的学习，什么不是。
• 半监督学习：训练数据包含少数期望的输出。
• 强化学习：通过一系列动作获得奖励。人工智能类型喜欢它，这是最有雄心的学习类型。

监督学习是最成熟、研究最多、也是大多数机器学习算法所使用的学习类型。有监督学习比无监督学习要容易得多。

归纳学习是指我们通过数据（x）形式的函数示例和函数输出（f(x)）来学习。归纳学习的目标是学习新数据（x）的函数。

• 分类：当学习的函数是离散的时。
• 回归：当学习的函数是连续的时。
• 概率估计：当函数的输出是概率时。

机器学习实践

机器学习算法在实践中只是数据分析师或数据科学家使用机器学习的很小一部分。在实践中，这个过程通常是这样的：

1. 开始循环
   1. 理解领域、先验知识和目标。与领域专家交谈。通常目标非常不明确。您尝试的事情常常多于您能完全实现的。
   2. 数据集成、选择、清理和预处理。这通常是最耗时的一部分。拥有高质量的数据很重要。您拥有的数据越多，由于数据不干净，事情就越糟糕。垃圾进，垃圾出。
   3. 学习模型。有趣的部分。这一部分非常成熟。工具是通用的。
   4. 结果解释。有时模型如何工作并不重要，只要它能产生结果即可。其他领域要求模型易于理解。您将受到人类专家的挑战。
   5. 整合和部署发现的知识。实验室里的大多数成功项目在实际中都没有被使用。要让某样东西被使用非常困难。
2. 结束循环

这不是一次性过程，而是一个循环。您需要运行该循环，直到获得可用于实践的结果。此外，数据可能会发生变化，需要新的循环。

归纳学习

讲座的第二部分是关于归纳学习的主题。这是监督学习的通用理论。

什么是归纳学习？

从归纳学习的角度来看，我们得到了输入样本 (x) 和输出样本 (f(x))，问题在于估计函数 (f)。具体来说，问题是从样本和映射中进行泛化，以便在未来能够有效地估计新样本的输出。

在实践中，估计函数几乎总是太难了，所以我们正在寻找函数的非常好的近似。

一些实用的归纳示例是

• 信用风险评估.
  • x 是客户的属性。
  • f(x) 是信用是否获批。
• 疾病诊断.
  • x 是患者的属性。
  • f(x) 是他们患有的疾病。
• 人脸识别.
  • x 是人们面部的位图。
  • f(x) 是为该面孔分配姓名。
• 自动转向.
  • x 是汽车前置摄像头的位图图像。
  • f(x) 是方向盘应转动的角度。

何时应该使用归纳学习？

有些问题不适合归纳学习。何时使用和何时不使用监督机器学习很重要。

4 个归纳学习可能是一个好主意的解决的问题

• 没有人类专家的领域。如果人们不知道答案，他们就无法编写程序来解决它。这些是真正发现的领域。
• 人类可以完成任务，但没有人能描述如何完成。有些问题人类可以做，但计算机无法或不擅长做。例如骑自行车或开车。
• 期望函数频繁更改的问题。人类可以描述它，也可以编写程序来做，但问题变化太频繁。成本效益不高。例如股市。
• 每个用户都需要自定义函数的问题。为每个用户编写自定义程序不符合成本效益。例如 Netflix 或 Amazon 上的电影或书籍推荐。

归纳学习的本质

我们可以编写一个对于我们拥有的数据都能完美工作的程序。这个函数将被最大程度地过拟合。但我们不知道它在新数据上的表现如何，可能会非常糟糕，因为我们可能永远不会看到相同的示例。

数据是不够的。您可以预测任何您想要的东西。这是一种天真的假设，没有对问题做任何假设。

在实践中，我们不天真。存在一个潜在的问题，我们对函数的准确近似感兴趣。在输入状态数量上存在双指数数量的可能分类器。找到函数的良好近似非常困难。

我们可以尝试某些类别的假设。这就是解决方案可能采取的形式，或者说是表示。我们事先无法知道哪种形式最适合我们的问题。我们必须通过实验来发现什么对问题有效。

两种看待归纳学习的视角

• 学习是消除不确定性。拥有数据可以消除一些不确定性。选择一个假设类别可以消除更多不确定性。
• 学习是猜到一个好的且小的假设类别。这需要猜测。我们不知道解决方案，必须使用试错过程。如果您能确切地了解该领域，您就不需要学习。但我们不是在黑暗中猜测。

你可能是错的。

• 我们的先验知识可能是错的。
• 我们对假设类别的猜测可能是错的。

在实践中，我们从一个小的假设类别开始，并慢慢扩大假设类别，直到获得一个好的结果。

学习归纳学习的框架

机器学习中使用的术语

• 训练样本：来自 x 的样本，包括其目标函数的输出。
• 目标函数：从 x 到 f(x) 的映射函数 f。
• 假设：f 的近似，一个候选函数。
• 概念：一个布尔目标函数，代表 1/0 类值的正例和负例。
• 分类器：学习程序输出一个可用于分类的分类器。
• 学习器：创建分类器的过程。
• 假设空间：算法可以创建的 f 的所有可能近似的集合。
• 版本空间：假设空间中与观测数据一致的子集。

机器学习中的关键问题

• 什么是好的假设空间？
• 哪些算法适用于该空间？
• 如何优化在未见数据上的准确率？
• 我们如何对模型有信心？
• 是否存在计算上不可处理的学习问题？
• 如何将应用问题制定为机器学习问题？

选择假设空间有 3 个方面的考虑

• 大小：要选择的假设数量。
• 随机性：随机或确定性。
• 参数：参数的数量和类型。

有 3 个属性可以用来选择算法

• 搜索过程
  • 直接计算：无搜索，只需计算所需。
  • 局部搜索：通过假设空间搜索来改进假设。
  • 构造性搜索：逐步构建假设。
• 时序
  • 饥渴式学习：预先进行学习。大多数算法都是饥渴式。
  • 延迟式学习：在需要时进行学习。
• 在线 vs 批量
  • 在线学习：基于观察到的每个模式进行学习。
  • 批量学习：对模式组进行学习。大多数算法是批量式的。

总结

在这篇文章中，您了解了机器学习的基础概念。

总而言之，这些是：

• 什么是机器学习？
• 机器学习的应用
• 机器学习的关键要素
• 学习类型
• 机器学习实践
• 什么是归纳学习？
• 何时应该使用归纳学习？
• 归纳学习的本质
• 学习归纳学习的框架

这些是在大多数机器学习课程的介绍以及任何关于该主题的优秀教科书的开篇章节中涵盖的基础概念。

虽然本文针对的是学术界，但作为从业者，牢固掌握这些概念对于更好地理解机器学习算法的普遍行为非常有益。