机器学习算法迷你课程

机器学习算法是机器学习中非常重要的一部分。

你必须理解它们的工作原理才能在该领域取得任何进展。

在这篇文章中，你将发现一个由14部分组成的机器学习算法迷你课程，你可以跟着它来最终理解机器学习算法。

我们将在本课程中涵盖很多内容，你将会度过一段愉快的时光。

通过我的新书《掌握机器学习算法》启动你的项目，其中包括分步教程和所有示例的Excel电子表格文件。

让我们开始吧。

机器学习算法迷你课程
图片由 Jared Tarbell 提供，保留部分权利。

本课程适合谁？

在开始之前，让我们确保您来对了地方。

• 本课程适合对机器学习算法好奇的初学者。
• 本课程不假设你了解如何编写代码。
• 本课程不假设你具备数学背景。
• 本课程不假设你具备机器学习理论背景。

这个迷你课程将带你从基础开始，通过10种顶级技术，引导你了解机器学习算法。

我们将逐一介绍每种算法，让你了解其工作原理，但不会深入探讨，以保持课程进度。

迷你课程概述

让我们来看看接下来14节课将要涵盖的内容。

你可能需要反复查阅这篇文章，所以你可能希望将其添加书签。

这个迷你课程分为四个部分：算法基础、线性算法、非线性算法和集成算法。

算法基础

• 第一课：如何在机器学习中讨论数据
• 第二课：所有算法的基础原理
• 第三课：参数和非参数算法
• 第四课：偏差、方差和权衡

线性算法

• 第五课：线性回归
• 第六课：逻辑回归
• 第七课：线性判别分析

非线性算法

• 第八课：分类与回归树
• 第九课：朴素贝叶斯
• 第十课：k-近邻
• 第十一课：学习向量量化
• 第十二课：支持向量机

集成算法

• 第十三课：Bagging 和随机森林
• 第十四课：Boosting 和 AdaBoost

获取您的免费算法思维导图

方便的机器学习算法思维导图样本。

我创建了一份方便的思维导图，其中包含60多种按类型组织的算法。

下载、打印并使用它。

第一课：如何在机器学习中讨论数据

数据在机器学习中扮演着重要角色。

在讨论数据时，理解并使用正确的术语非常重要。

你是如何思考数据的？想象一个电子表格。你有列、行和单元格。

机器学习的统计学视角将数据置于一个假设函数 (f) 的背景下，机器学习算法旨在学习这个函数。给定一些输入变量 (Input)，该函数回答了什么是预测输出变量 (Output) 的问题。

输出 = f(输入)

输入和输出可以被称为变量或向量。

计算机科学的视角使用一行数据来描述一个实体（例如一个人）或对一个实体的观察。因此，一行的列通常被称为该观察的属性，而行本身被称为实例。

第二课：所有算法的基础原理

所有用于预测建模的监督机器学习算法都遵循一个共同的原理。

机器学习算法被描述为学习一个目标函数 (f)，该函数能最好地将输入变量 (X) 映射到输出变量 (Y)。

Y = f(X)

这是一个通用的学习任务，我们希望在未来给定新的输入变量 (X) 示例时做出预测 (Y)。我们不知道函数 (f) 是什么样子或它的形式。如果我们知道，我们会直接使用它，而不需要使用机器学习算法从数据中学习它。

最常见的机器学习类型是学习映射 Y = f(X) 以对新的 X 进行 Y 的预测。这称为预测建模或预测分析，我们的目标是做出尽可能准确的预测。

第三课：参数和非参数算法

什么是参数机器学习算法？它与非参数机器学习算法有何不同？

假设可以大大简化学习过程，但也会限制可以学习的内容。将函数简化为已知形式的算法称为参数机器学习算法。

这些算法涉及两个步骤：

1. 选择函数的形式。
2. 从训练数据中学习函数的系数。

参数机器学习算法的一些例子是线性回归和逻辑回归。

对映射函数形式不作强假设的算法称为非参数机器学习算法。通过不作假设，它们可以自由地从训练数据中学习任何函数形式。

非参数方法通常更灵活，能获得更好的准确性，但需要更多的数据和训练时间。

非参数算法的例子包括支持向量机、神经网络和决策树。

第四课：偏差、方差和权衡

机器学习算法最好通过偏差-方差权衡的视角来理解。

偏差是模型为了使目标函数更容易学习而做出的简化假设。

通常，参数算法具有高偏差，这使得它们学习速度快，更容易理解，但通常灵活性较低。反过来，它们在无法满足算法偏差简化假设的复杂问题上预测性能较低。

决策树是低偏差算法的一个例子，而线性回归是高偏差算法的一个例子。

方差是如果使用不同的训练数据，目标函数的估计值将发生变化的量。目标函数是由机器学习算法从训练数据中估计出来的，所以我们应该期望算法有一些方差，而不是零方差。

K-近邻算法是高方差算法的一个例子，而线性判别分析是低方差算法的一个例子。

任何预测建模机器学习算法的目标都是实现低偏差和低方差。反过来，该算法应实现良好的预测性能。机器学习算法的参数化通常是平衡偏差和方差的一场斗争。

• 增加偏差将减少方差。
• 增加方差将减少偏差。

第五课：线性回归算法

线性回归可能是统计学和机器学习中最知名和最易理解的算法之一。

这难道不是一种统计学技术吗？

预测建模主要关注最小化模型误差或尽可能做出最准确的预测，而牺牲可解释性。我们将借鉴、重用和“窃取”来自许多不同领域的算法，包括统计学，并将它们用于这些目的。

线性回归的表示是一个方程，它通过寻找输入变量（x）的特定权重，称为系数（B），来描述一条最能拟合输入变量（x）和输出变量（y）之间关系的直线。

例如：

y = B0 + B1 * x

我们将根据输入x预测y，线性回归学习算法的目标是找到系数B0和B1的值。

可以使用不同的技术从数据中学习线性回归模型，例如普通最小二乘的线性代数解和梯度下降优化。

线性回归已经存在200多年，并得到了广泛研究。使用该技术的一些经验法则是在可能的情况下，删除非常相似（相关）的变量并从数据中去除噪声。

它是一种快速简单的技术，也是一个很好的首次尝试算法。

第六课：逻辑回归算法

逻辑回归是机器学习从统计学领域借鉴的另一种技术。它是处理二元分类问题（具有两个类别值的问题）的首选方法。

逻辑回归与线性回归相似，目标都是找到为每个输入变量加权的系数。

与线性回归不同，输出的预测值使用一个称为逻辑函数的非线性函数进行转换。

逻辑函数看起来像一个大S形，它将把任何值转换到0到1的范围。这很有用，因为我们可以对逻辑函数的输出应用一个规则，将值强制为0和1（例如，如果小于0.5，则输出1），并预测一个类别值。

由于模型学习方式的缘故，逻辑回归做出的预测也可以用作给定数据实例属于类别0或类别1的概率。这对于需要为预测提供更多理由的问题非常有用。

与线性回归一样，当你移除与输出变量无关的属性以及相互之间非常相似（相关）的属性时，逻辑回归的效果会更好。

它是一种学习速度快且对二元分类问题有效的模型。

第七课：线性判别分析算法

逻辑回归是一种分类算法，传统上仅限于二分类问题。如果你有超过两个类别，那么线性判别分析算法是首选的线性分类技术。

LDA的表示相当直接。它由每个类别计算出的数据统计属性组成。对于单个输入变量，这包括：

1. 每个类别的平均值。
2. 所有类别计算出的方差。

通过计算每个类别的判别值，并预测具有最大值的类别来做出预测。

该技术假设数据服从高斯分布（钟形曲线），因此最好事先从数据中去除异常值。

这是一种简单而强大的分类预测建模方法。

第八课：分类与回归树

决策树是预测建模机器学习中一种重要的算法类型。

决策树模型的表示是一个二叉树。这就是算法和数据结构中的二叉树，没什么特别的。每个节点代表一个输入变量（x）和该变量上的一个分割点（假设变量是数值型的）。

树的叶节点包含一个用于进行预测的输出变量（y）。通过遍历树的分割点直到到达叶节点，并输出该叶节点的类别值来做出预测。

树学习速度快，预测速度也非常快。它们通常对各种问题都准确，并且不需要对数据进行任何特殊准备。

决策树具有高方差，当在集成中使用时，可以产生更准确的预测，我们将在第13课和第14课中介绍这个主题。

第九课：朴素贝叶斯算法

朴素贝叶斯是一种简单但出人意料地强大的预测建模算法。

该模型由两种可以直接从训练数据中计算出来的概率组成：

1. 每个类别的概率。
2. 在给定每个x值的情况下，每个类别的条件概率。

一旦计算出来，就可以使用贝叶斯定理对新数据进行预测。

当你的数据是实数值时，通常假设为高斯分布（钟形曲线），以便你可以轻松估计这些概率。

朴素贝叶斯被称为“朴素”，因为它假设每个输入变量都是独立的。这是一个很强的假设，对于真实数据来说不切实际，然而，该技术在许多复杂问题上都非常有效。

第十课：K-近邻算法

KNN算法非常简单且非常有效。

KNN的模型表示是整个训练数据集。很简单吧？

通过在整个训练集中搜索K个最相似的实例（邻居），并对这K个实例的输出变量进行汇总，从而对新数据点进行预测。对于回归问题，这可能是平均输出变量；对于分类问题，这可能是众数（或最常见的）类别值。

诀窍在于如何确定数据实例之间的相似性。如果你的所有属性都具有相同的尺度（例如都以英寸为单位），最简单的技术是使用欧几里得距离，这是一个可以根据每个输入变量之间的差异直接计算的数字。

KNN可能需要大量内存或空间来存储所有数据，但只在需要预测时才执行计算（或学习），即时进行。你还可以随着时间的推移更新和管理训练实例，以保持预测的准确性。

在高维（大量输入变量）的情况下，距离或接近度的概念可能会失效，这可能会对算法在你问题上的性能产生负面影响。这被称为维度灾难。它建议你只使用与预测输出变量最相关的输入变量。

第十一课：学习向量量化

K-近邻的一个缺点是你需要保留整个训练数据集。

学习向量量化算法（简称LVQ）是一种人工神经网络算法，它允许你选择要保留多少训练实例，并学习这些实例应该是什么样子。

LVQ 的表示是一组码本向量。这些向量在开始时随机选择，并在学习算法的多次迭代中进行调整，以最好地总结训练数据集。

学习之后，码本向量可以像 K-近邻一样用于进行预测。通过计算每个码本向量和新数据实例之间的距离，找到最相似的邻居（最佳匹配码本向量）。然后，将最佳匹配单元的类别值（回归情况下为实数值）作为预测返回。

如果你将数据重新缩放到相同的范围，例如0到1之间，则可以获得最佳结果。

如果你发现KNN在你的数据集上效果良好，请尝试使用LVQ来减少存储整个训练数据集所需的内存。

第十二课：支持向量机

支持向量机可能是最流行和最受关注的机器学习算法之一。

超平面是一条分割输入变量空间的线。在支持向量机中，选择一个超平面以最佳地根据类别（类别0或类别1）来分离输入变量空间中的点。

在二维空间中，你可以将其可视化为一条线，并假设我们所有的输入点都可以被这条线完全分离。

支持向量机学习算法找到能使超平面最佳分离类别的系数。

超平面与最近数据点之间的距离被称为“间隔”。能够分离两个类别的最佳或最优超平面是具有最大间隔的直线。

只有这些点与定义超平面和构建分类器相关。

这些点被称为支持向量。它们支持或定义超平面。

在实践中，使用优化算法来找到使间隔最大化的系数值。

支持向量机可能是最强大的开箱即用分类器之一，值得在你的数据集上尝试。

第十三课：Bagging 和随机森林

随机森林是最流行、最强大的机器学习算法之一。它是一种被称为 Bootstrap Aggregation 或 bagging 的集成机器学习算法。

自助法（bootstrap）是一种强大的统计方法，用于从数据样本中估计一个量，例如均值。你从数据中抽取大量样本，计算均值，然后将所有均值求平均，以得到对真实均值更准确的估计。

在bagging中，使用相同的方法，但用于估计整个统计模型，最常见的是决策树。

对你的训练数据进行多次抽样，然后为每个数据样本构建模型。当你需要对新数据进行预测时，每个模型都会进行预测，并将这些预测进行平均，以获得对真实输出值更好的估计。

随机森林是在此方法上的一个调整，其中决策树的创建方式不是选择最优分割点，而是通过引入随机性来创建次优分割。

因此，为每个数据样本创建的模型彼此之间差异更大，但它们各自独特且不同地准确。结合它们的预测可以更好地估计真实的基础输出值。

如果你使用高方差算法（如决策树）获得了良好的结果，那么通过对该算法进行bagging，你通常可以获得更好的结果。

第十四课：Boosting 和 AdaBoost

Boosting 是一种集成技术，它试图从多个弱分类器中创建一个强分类器。

这通过从训练数据构建模型，然后创建第二个模型来纠正第一个模型的错误来实现。模型不断添加，直到训练集被完美预测或达到最大模型数量。

AdaBoost 是第一个真正成功的 Boosting 算法，专为二分类问题开发。它是理解 Boosting 的最佳起点。现代 Boosting 方法都建立在 AdaBoost 的基础上，最著名的是随机梯度 Boosting 机器。

AdaBoost 与短决策树一起使用。在创建第一棵树后，该树在每个训练实例上的表现被用来加权下一棵树在创建时应该关注每个训练实例的程度。难以预测的训练数据会被赋予更大的权重，而易于预测的实例则被赋予较小的权重。

模型依次创建，每个模型都会更新训练实例的权重，这些权重会影响序列中下一棵树的学习。

所有树构建完成后，对新数据进行预测，每棵树的性能会根据其在训练数据上的准确性进行加权。

由于算法非常注重纠正错误，因此拥有干净的数据并去除异常值非常重要。

迷你课程回顾

你做到了。干得好！花点时间回顾一下你已经走了多远：

• 你学会了如何在机器学习中讨论数据，以及所有预测建模算法的基本原理。
• 你了解了参数算法和非参数算法之间的区别，以及由偏差和方差引入的误差之间的区别。
• 你发现了三种线性机器学习算法：线性回归、逻辑回归和线性判别分析。
• 你学习了五种非线性算法：分类与回归树、朴素贝叶斯、K-近邻、学习向量量化和支持向量机。
• 最后，你了解了两种最流行的集成算法：决策树的 Bagging 和 AdaBoost 的 Boosting。

不要轻视这一点，你在短时间内取得了长足的进步。这仅仅是你机器学习算法之旅的开始。继续练习和发展你的技能。

您喜欢这个迷你课程吗？
你有什么问题或难点吗？

留下评论，让我知道。

了解机器学习算法的工作原理！

几分钟内了解算法如何工作

...只需算术和简单示例

在我的新电子书中探索如何实现
精通机器学习算法

它涵盖了**10种顶级算法**的**解释**和**示例**，例如：
_线性回归_、_k-近邻_、_支持向量机_等等...

最后，揭开
机器学习算法的神秘面纱

跳过学术理论。只看结果。

查看内容