机器学习中线性代数的10个例子

线性代数是数学的一个子领域，涉及向量、矩阵和线性变换。

它是机器学习领域的一个关键基础，从用于描述算法操作的符号到算法在代码中的实现。

尽管线性代数是机器学习领域不可或缺的一部分，但这种紧密的关系通常未被解释，或者使用向量空间或特定矩阵运算等抽象概念来解释。

在这篇文章中，您将发现10个您可能熟悉且使用、需要并最好通过线性代数来理解的常见机器学习示例。

阅读本文后，你将了解：

• 在处理数据时使用线性代数结构，例如表格数据集和图像。
• 在进行数据准备时使用线性代数概念，例如独热编码和降维。
• 在深度学习、自然语言处理和推荐系统等子领域中，线性代数符号和方法的根深蒂固的使用。

通过我的新书《机器学习的线性代数》来启动您的项目，包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

机器学习中线性代数的10个例子
图片由j. Barbosa提供，保留部分权利。

概述

在这篇文章中，我们将回顾机器学习中10个明显且具体的线性代数例子。

我尽量选择您可能熟悉或以前使用过的例子。它们是：

1. 数据集和数据文件
2. 图像和照片
3. 独热编码
4. 线性回归
5. 正则化 (Regularization)
6. 主成分分析
7. 奇异值分解
8. 潜在语义分析
9. 推荐系统
10. 深度学习

您在机器学习中有自己最喜欢的线性代数示例吗？
在下面的评论中告诉我。

1. 数据集和数据文件

在机器学习中，您在数据集上拟合模型。

这是一个表格状的数字集合，其中每行代表一个观察值，每列代表该观察值的一个特征。

例如，下面是鸢尾花数据集的片段

这些数据实际上是一个矩阵：线性代数中的一个关键数据结构。

此外，当您将数据分割成输入和输出以拟合监督机器学习模型时，例如测量值和花的种类，您会得到一个矩阵 (X) 和一个向量 (y)。向量是线性代数中的另一个关键数据结构。

每行的长度相同，即列数相同，因此我们可以说数据是向量化的，其中行可以一次提供给模型一行或一批，模型可以预先配置为期望固定宽度的行。

有关将数据文件加载为 NumPy 数组的帮助，请参阅教程

• 如何在 Python 中加载机器学习数据

2. 图像和照片

也许您更习惯于在计算机视觉应用程序中使用图像或照片。

您使用的每张图像本身都是一个表格结构，具有宽度和高度，对于黑白图像，每个单元格中有一个像素值；对于彩色图像，每个单元格中有三个像素值。

照片是线性代数中矩阵的又一个例子。

图像上的操作，例如裁剪、缩放、剪切等，都使用线性代数的符号和操作来描述。

有关将图像加载为 NumPy 数组的帮助，请参阅教程

• 如何在 Python 中加载和操作图像

3. 独热编码

有时您在机器学习中处理分类数据。

也许是分类问题的类标签，或者分类输入变量。

通常对分类变量进行编码，以便更容易处理和学习一些技术。一种流行的分类变量编码是独热编码。

独热编码是指创建一个表格来表示变量，其中每列代表一个类别，每行代表数据集中的一个示例。对于给定行中的分类值，在相应的列中添加一个勾选或一值，并在所有其他列中添加一个零值。

例如，包含3行的颜色变量

可能被编码为

每行都被编码为二进制向量，一个包含零或一值的向量，这是稀疏表示的一个例子，是线性代数的一个完整子领域。

有关独热编码的更多信息，请参阅教程

• 为什么在机器学习中进行独热编码？

4. 线性回归

线性回归是统计学中一种描述变量之间关系的古老方法。

它常用于机器学习中，在简单的回归问题中预测数值。

有许多方法可以描述和解决线性回归问题，即找到一组系数，这些系数与每个输入变量相乘并相加，从而得到输出变量的最佳预测。

如果您使用过机器学习工具或库，解决线性回归最常见的方法是通过最小二乘优化，该优化使用线性回归中的矩阵分解方法（例如 LU 分解或奇异值分解，或 SVD）来解决。

甚至总结线性回归方程的常用方式也使用线性代数符号

其中 y 是输出变量，A 是数据集，b 是模型系数。

有关从线性代数角度看待线性回归的更多信息，请参阅教程

• 如何使用线性代数解决线性回归

5. 正则化

在应用机器学习中，我们通常寻求最简单的模型，以在我们的问题上达到最佳性能。

更简单的模型通常在从特定示例泛化到未见数据方面表现更好。

在许多涉及系数的方法中，例如回归方法和人工神经网络，更简单的模型通常以具有较小系数值的模型为特征。

一种常用于鼓励模型在数据拟合时最小化系数大小的技术称为正则化。常见的实现包括 L2 和 L1 形式的正则化。

这两种形式的正则化实际上都是对系数作为向量的幅值或长度的度量，它们是直接从线性代数中提取出来的方法，称为向量范数。

有关正则化中使用的向量范数的更多信息，请参阅教程

• 机器学习中向量范数简介

6. 主成分分析

通常，一个数据集有许多列，可能几十、几百、几千甚至更多。

处理具有许多特征的数据具有挑战性，而包含不相关特征的数据构建的模型通常不如从最相关数据训练的模型有效。

很难知道数据中的哪些特征是相关的，哪些是不相关的。

自动减少数据集列数的方法称为降维，其中最流行的方法可能是主成分分析，简称 PCA。

该方法在机器学习中用于创建高维数据的投影，以便于可视化和模型训练。

PCA 方法的核心是线性代数中的一种矩阵分解方法。特征分解可以使用，更稳健的实现可能使用奇异值分解 (SVD)。

有关主成分分析的更多信息，请参阅教程

• 如何计算主成分分析 (PCA)

7. 奇异值分解

另一种流行的降维方法是奇异值分解方法，简称 SVD。

如前所述，顾名思义，它是一种来自线性代数领域的矩阵分解方法。

它在线性代数中应用广泛，可以直接用于特征选择、可视化、降噪等应用。

我们将在下面看到另外两个在机器学习中使用 SVD 的案例。

有关奇异值分解的更多信息，请参阅教程

• 奇异值分解 (SVD) 温和介绍

8. 潜在语义分析

在机器学习处理文本数据的子领域——自然语言处理中，通常将文档表示为包含单词出现次数的大型矩阵。

例如，矩阵的列可以是词汇表中的已知单词，行可以是文本的句子、段落、页面或文档，矩阵中的单元格标记为单词出现的计数或频率。

这是一种文本的稀疏矩阵表示。矩阵分解方法，例如奇异值分解，可以应用于这个稀疏矩阵，其效果是将表示提炼成其最相关的本质。以这种方式处理的文档更容易比较、查询，并用作监督机器学习模型的基础。

这种数据准备形式称为潜在语义分析 (Latent Semantic Analysis, LSA)，也称为潜在语义索引 (Latent Semantic Indexing, LSI)。

9. 推荐系统

涉及产品推荐的预测建模问题称为推荐系统，它是机器学习的一个子领域。

例如，根据您以前的购买记录和与您相似的亚马逊客户的购买记录推荐书籍，以及根据您的观看历史和与您相似的 Netflix 订阅者的观看历史推荐电影和电视节目。

推荐系统的开发主要关注线性代数方法。一个简单的例子是使用欧几里得距离或点积等距离度量来计算稀疏客户行为向量之间的相似性。

奇异值分解等矩阵分解方法在推荐系统中广泛用于将项目和用户数据提取其本质，以便进行查询、搜索和比较。

10. 深度学习

人工神经网络是一种非线性机器学习算法，其灵感来源于大脑信息处理的元素，并已证明在各种问题上都非常有效，其中最重要的是预测建模。

深度学习是近年来人工神经网络应用的复兴，通过更新的方法和更快的硬件，使得在非常大的数据集上开发和训练更大更深（更多层）的网络成为可能。深度学习方法在机器翻译、照片字幕、语音识别等一系列具有挑战性的问题上，不断取得最先进的成果。

从根本上说，神经网络的执行涉及线性代数数据结构的乘法和加法。扩展到多个维度，深度学习方法处理输入和系数的向量、矩阵甚至张量，其中张量是具有两个以上维度的矩阵。

线性代数对于通过矩阵符号描述深度学习方法至关重要，也对深度学习方法的实现至关重要，例如谷歌的 TensorFlow Python 库，其名称中包含“张量”一词。

有关张量的更多信息，请参阅教程

• NumPy 张量简介

总结

在这篇文章中，您发现了10个您可能熟悉并使用线性代数的常见机器学习示例。

具体来说，你学到了：

• 在处理表格数据集和图像等数据时使用线性代数结构。
• 在进行独热编码和降维等数据准备时使用线性代数概念。
• 在深度学习、自然语言处理和推荐系统等子领域中，线性代数符号和方法的根深蒂固的使用。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌握机器学习线性代数！

建立对线性代数的工作理解

...通过在 python 中编写代码

在我的新电子书中探索如何实现
机器学习线性代数

它提供关于以下主题的自学教程：
向量范数、矩阵乘法、张量、特征分解、SVD、PCA 等等...

最终理解数据的数学

跳过学术理论。只看结果。

查看内容