线性代数简明介绍

什么是线性代数？

线性代数是一个数学领域，被普遍认为是深入理解机器学习的先决条件。

尽管线性代数是一个拥有许多深奥理论和发现的广阔领域，但从该领域中提取的实用工具和符号对机器学习从业者来说是实用的。有了线性代数是什么的坚实基础，就可以专注于那些好或相关的部分。

在本教程中，您将从机器学习的角度了解线性代数究竟是什么。

完成本教程后，您将了解：

• 线性代数是数据的数学。
• 线性代数对统计学领域产生了显著影响。
• 线性代数是许多实用数学工具的基础，例如傅里叶级数和计算机图形学。

通过我的新书《机器学习线性代数》，助您启动项目，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

线性代数简明介绍
图片由Steve Corey提供，部分权利保留。

教程概述

本教程分为4个部分，它们是：

1. 线性代数
2. 数值线性代数
3. 线性代数与统计学
4. 线性代数的应用

线性代数

线性代数是数学的一个分支，但事实是线性代数是数据的数学。矩阵和向量是数据的语言。

线性代数是关于线性组合的。也就是说，使用算术运算对称为向量的数字列和称为矩阵的数字数组进行操作，以创建新的数字列和数组。线性代数是研究直线和平面、向量空间以及线性变换所需的映射。

它是一个相对年轻的研究领域，最初于19世纪形式化，旨在解决线性方程组中的未知数。线性方程只是一系列项和数学运算，其中一些项是未知的；例如：

像这样的方程是线性的，因为它们描述了二维图上的直线。这条直线是通过将不同的值代入未知数 x 来找出方程或模型对 y 值的作用。

我们可以将具有相同形式的方程组排列起来，其中包含两个或更多未知数；例如：

y 值列可以看作是方程输出的列向量。两个浮点值列是数据列，例如 a1 和 a2，可以看作是矩阵 A。两个未知值 x1 和 x2 可以看作是方程的系数，它们共同构成一个待求解的未知向量 b。我们可以使用线性代数符号将其紧凑地写为：

这种形式的问题通常难以解决，因为未知数（这里我们有2个）比要解决的方程（这里我们有3个）多。此外，通常没有一条线可以无误差地满足所有方程。描述我们经常感兴趣的问题（例如线性回归）的系统可能具有无限多个解。

这让我们对作为机器学习从业者所感兴趣的线性代数核心有了一个初步的了解。其余大部分操作都是为了使这个问题以及类似问题更容易理解和解决。

数值线性代数

线性代数在计算机中的应用通常被称为数值线性代数。

“数值”线性代数实际上是应用线性代数。

—— 第九页，《数值线性代数》，1997年。

它不仅仅是在代码库中实现线性代数操作；它还包括仔细处理应用数学问题，例如处理数字计算机有限的浮点精度。

计算机擅长执行线性代数计算，现代机器学习方法（如深度学习）对图形处理单元（GPU）的许多依赖正是因为它们能够快速计算线性代数操作。

向量和矩阵操作的高效实现在20世纪70年代和80年代最初是用FORTRAN编程语言实现的，许多代码，或者从这些实现移植的代码，是使用现代编程语言（如Python）执行的大部分线性代数的基础。

三个流行的开源数值线性代数库实现了这些功能：

• 线性代数包（Linear Algebra Package），简称 LAPACK。
• 基本线性代数子程序（Basic Linear Algebra Subprograms），简称 BLAS（线性代数库的标准）。
• 自动调优线性代数软件（Automatically Tuned Linear Algebra Software），简称 ATLAS。

通常，当您直接或间接通过高阶算法计算线性代数操作时，您的代码很可能会使用其中一个或类似的线性代数库。如果您安装或编译过任何 Python 的数值库，例如 SciPy 和 NumPy，那么您可能熟悉这些底层库的名称。

线性代数与统计学

线性代数是数学其他分支，特别是统计学中的一个宝贵工具。

通常，学习统计学的学生被期望在本科阶段至少学习过一学期的线性代数（或应用代数）。

— 第xv页，《统计学线性代数与矩阵分析》，2014年。

考虑到这两个领域与应用机器学习领域的基础关系，线性代数的影响是值得深思的。

线性代数在统计学和统计方法上的一些明显印记包括：

• 使用向量和矩阵符号，特别是在多元统计中。
• 最小二乘和加权最小二乘的解，例如用于线性回归。
• 数据矩阵的均值和方差估计。
• 在多项式高斯分布中起关键作用的协方差矩阵。
• 将这些元素结合在一起用于数据降维的主成分分析。

如您所见，现代统计学和数据分析，至少就机器学习从业者的兴趣而言，都依赖于线性代数的理解和工具。

线性代数的应用

由于线性代数是数据的数学，线性代数的工具被用于许多领域。

在他关于这个主题的经典著作《线性代数导论》中，Gilbert Strang专门用一章来介绍线性代数的应用。其中，他展示了植根于线性代数的具体数学工具。简要地讲，它们是：

• 工程中的矩阵，例如一排弹簧。
• 图和网络，例如分析网络。
• 马尔可夫矩阵、人口和经济学，例如人口增长。
• 线性规划，单纯形优化方法。
• 傅里叶级数：函数的线性代数，广泛用于信号处理。
• 统计和概率的线性代数，例如回归的最小二乘法。
• 计算机图形学，例如图像的各种平移、缩放和旋转。

线性代数的另一个有趣应用是，它是爱因斯坦在他的相对论部分中使用的数学类型。特别是张量和张量微积分。他还向物理学引入了一种新型的线性代数符号，称为爱因斯坦符号，或爱因斯坦求和约定。

线性代数教程

您是否正在寻找一些帮助以开始学习线性代数？请查看以下教程：

• 机器学习线性代数（7天迷你课程）
• 机器学习线性代数速查表
• 机器学习中的数学符号基础

扩展

本节列出了一些您可能希望探索的扩展本教程的想法。

• 搜索书籍和网络，查找定义线性代数领域的5条引语。
• 研究并列出概率论和统计学领域中线性代数的另外5个应用或用途。
• 列出并简要定义线性代数描述中使用的10个术语。

如果您探索了这些扩展中的任何一个，我很想知道。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

书籍

• 线性代数导论, 2016.
• 数值线性代数, 1997.
• 统计学的线性代数与矩阵分析, 2014.

文章

• 维基百科上的线性代数
• 维基百科上的线性代数分类
• 维基百科上的线性代数主题列表
• 维基百科上的LAPACK
• 维基百科上的基本线性代数子程序
• 维基百科上的自动调优线性代数软件
• 维基百科上的爱因斯坦符号
• 维基百科上的广义相对论数学

相关文章

• 机器学习线性代数

总结

在本教程中，您从机器学习的角度了解了线性代数的温和介绍。

具体来说，你学到了：

• 线性代数是数据的数学。
• 线性代数对统计学领域产生了显著影响。
• 线性代数是许多实用数学工具的基础，例如傅里叶级数和计算机图形学。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌握机器学习线性代数！

建立对线性代数的工作理解

...通过在 python 中编写代码

在我的新电子书中探索如何实现
机器学习线性代数

它提供关于以下主题的自学教程：
向量范数、矩阵乘法、张量、特征分解、SVD、PCA 等等...

最终理解数据的数学

跳过学术理论。只看结果。

查看内容