在机器学习或深度学习中，并非必须掌握微积分知识才能获得结果和解决问题。
然而，了解一些微积分知识将在许多方面对你有所帮助，例如阅读书籍和论文中的数学符号，理解用于描述拟合模型的术语，如“梯度”，以及理解通过优化拟合的模型（如神经网络）的学习动态。
微积分是一个在大学水平教学中具有挑战性的主题，但你不需要了解微积分的所有内容，只需掌握与数值函数优化相关的一些术语和方法即可，这些对拟合算法（如神经网络）至关重要。而掌握微积分的最佳方式就是通过书籍。
在本教程中，你将了解适用于机器学习的微积分书籍。
完成本教程后，您将了解：
- 哪些机器学习书籍对相关微积分主题进行了温和的介绍。
- 你可以用来学习微积分的直观概念、历史和技术的书籍。
- 你可以用于参考或深入学习微积分技术及其证明的教科书。
让我们开始吧。
机器学习微积分书籍
图片作者：Roanish，保留部分权利。
教程概述
本教程分为三个部分；它们是：
- 机器学习书籍中的微积分
- 微积分入门书籍
- 微积分教科书
机器学习书籍中的微积分
从涵盖微积分基础知识的机器学习书籍开始。
如果你在学校（很久以前）学过微积分，需要复习，或者你需要快速了解术语和方法，这非常适合你。
许多顶级的机器学习和深度学习教科书都会涵盖基础知识，在大多数情况下这通常就足够了，例如当你专注于使用机器学习算法获得结果时。
此外，如果你已经拥有一本涵盖部分微积分的机器学习教科书，那会很有帮助，因为你不需要再买一本。
两本涵盖部分微积分的优秀教科书包括：
《深度学习》教科书中对微积分的涵盖是简要的。
深度学习
微积分是在优化背景下引入的，首先是线性回归，然后更普遍地用于多变量优化——在拟合神经网络时可见。
这包括以下主题：
- 导数
- 偏导数
- 二阶导数
- 海森矩阵
- 梯度
- 梯度下降
- 临界点
- 驻点
- 局部最大值
- 全局最小值
- 鞍点
- 雅可比矩阵
以及更多。
微积分术语。
摘自《深度学习》，2016年，第xiii页。
《模式识别与机器学习》一书提供了更深入的覆盖。
具体来说：
- 第10章：近似推断
- 附录D：变分法
模式识别与机器学习
附录D介绍了“变分法”这一主题，第10章使用了该技术。该主题在深度学习书中也有涉及。
如果一个典型的微积分问题涉及寻找一个变量值来优化一个函数，那么变分法就是寻找一个函数来优化另一个函数。我们可以看到这在机器学习，特别是神经网络中是相关的，因为神经网络模型（电路）在损失函数下学习任意函数。
传统微积分中的一个常见问题是找到一个 x 值，使得函数 y(x) 最大化（或最小化）。类似地，在变分法中，我们寻求一个函数 y(x)，使得泛函 F[y] 最大化（或最小化）。也就是说，在所有可能的函数 y(x) 中，我们希望找到使泛函 F[y] 达到最大值（或最小值）的特定函数。
— 摘自《模式识别与机器学习》，2006年，第703页。
变分法并不是拟合神经网络的必需条件，但它提供了一个有用的工具，可以更好地理解我们在拟合神经网络时正在解决的问题，以及我们在实践中可能看到的学习动态类型。
最后，我们开始看到专门讲解机器学习背后数学原理的书籍。
一个例子是《机器学习数学》。
机器学习数学
这本书涵盖了机器学习所需的大部分微积分知识，并提供了背景，展示了它在模型优化（训练/学习）方面的位置。
微积分及其与机器学习的联系。
摘自《机器学习数学》，第140页。
微积分的讨论仅限于第5章：向量微积分，其中涵盖以下主题：
- 第5.1节 单变量函数的微分
- 第5.2节 偏微分和梯度
- 第5.3节 向量值函数的梯度
- 第5.4节 矩阵的梯度
- 第5.5节 计算梯度的有用恒等式
- 第5.6节 反向传播和自动微分
- 第5.7节 高阶导数
- 第5.8节 线性化和多变量泰勒级数
这本书是补充或更新你的机器学习微积分知识的绝佳起点。
微积分入门书籍
知道术语的名称是一回事，但如果你想更普遍地了解一些方法呢？
为此，我推荐一本扎实的初学者书籍，例如：
- 微积分搭便车指南, 2019.
- 《微积分傻瓜书》（Calculus For Dummies）, 2016.
这些并非教科书；相反，它们假设读者几乎没有或完全没有背景知识（例如微积分预备知识），并将逐步引导你了解直觉、技术及其在简单练习中的应用。
直觉是关键！我们不是在攻读数学学位；我们是在解决机器学习问题。
教科书会教你方法和证明，但很少会告诉你这种方法最初是为了解决什么问题，也很少提及历史。我认为背景知识至关重要。
《微积分傻瓜书》（Calculus For Dummies）
我拥有这两本书。我喜欢《微积分傻瓜书》，如果你能接受它的书名和风格，我会推荐它。
许多人说微积分是整个人类智力史上最伟大的成就之一。因此，它值得付出努力。阅读这本没有专业术语的书，掌握微积分，加入少数能够自豪地说“微积分？哦，当然，我知道微积分。这没什么大不了的。”的幸运儿行列。
— 摘自《微积分傻瓜书》，2016年，第1页。
目录如下：
- 引言
- 第一部分：微积分概述
- 第1章：什么是微积分？
- 第2章：微积分的两大思想：微分与积分——加上无穷级数
- 第3章：微积分为何有效
- 第二部分：微积分预备知识热身
- 第4章：初等代数和代数复习
- 第5章：奇特的函数及其酷炫的图表
- 第6章：三角函数探戈
- 第三部分：极限
- 第7章：极限与连续性
- 第8章：求极限
- 第四部分：微分
- 第9章：微分入门
- 第10章：微分法则——是的，伙计，它很棒
- 第11章：微分与曲线的形状
- 第12章：你的问题已解决：微分来帮忙！
- 第13章：更多微分问题：走上切线
- 第五部分：积分与无穷级数
- 第14章：积分简介与面积近似
- 第15章：积分：它是反向微分
- 第16章：专家级积分技巧
- 第17章：忘掉菲尔博士：用积分解决问题
- 第18章：用反常积分驯服无限
- 第19章：无穷级数
- 第六部分：十大要点
- 第20章：十件需要记住的事情
- 第21章：十件需要忘记的事情
- 第22章：十件你不能逃避的事情
微积分搭便车指南
我发现《微积分搭便车指南》很好，但很简洁。它直接切入每种方法的要点。
这本书最好的地方在于它专注于让你进行计算。通过计算来学习。这就是我的学习方式。
……微积分需要理解一套全新的思想，这些思想非常有趣且相当优美，但无可否认也有些难以掌握。然而，尽管它包含了所有的新思想，微积分仍然是一种计算方法，所以你的微积分课程将涉及大量的计算，大量的计算，似乎永无止境的计算！
— 摘自《微积分搭便车指南》，2019年，第1-2页。
我强烈推荐的另一本书是一本科普读物：
- 《无穷之力：微积分如何揭示宇宙的秘密》, 2020.
无限力量
这本书会让你对微积分充满热情。
它涵盖了历史，并将让你深入了解微积分工具为何被发明，以及它们为何如此强大。
没有微积分，我们就不会有手机、电脑或微波炉。我们不会有收音机。也不会有电视。也不会有孕妇的超声波检查，或迷路旅行者的GPS。我们可能不会分裂原子，解开人类基因组，或将宇航员送上月球。我们甚至可能不会有《独立宣言》。
— 摘自《无穷之力》，2020年，第vii页。
历史很重要。你需要有人来阐述几何和代数无法解决的难题，尝试过的各种技巧，以及发明出来并非常有效的新方法。
微积分起源于几何学。大约在公元前250年，古希腊出现了一个热门的数学初创公司，致力于研究曲线的奥秘。
— 摘自《无穷之力》，2020年，第3页。
它强调微积分并非魔法或咒语，而是解决问题的工具。而且如果你愿意，这一切都是可以学习的。
微积分教科书
也许你想更深入地学习。
你想查看并推导每种方法的证明，完成大学水平的练习，深入学习。
这对于在机器学习中取得实效并不是必需的，但有时我们想全力以赴。我理解。在这种情况下，我推荐一本教科书，例如大学本科课程使用的教科书。
手边备一本教科书也是个好主意，可以在使用高级/简单材料时，根据需要深入了解特定术语和方法的细节。例如，真正深入研究Hessian矩阵。
微积分教科书数量众多，而且似乎每隔几年就有新版本。
然而，一些大学常用的顶级教科书包括以下几本：
- 《微积分》，第3版，2017年。（Gilbert Strang）
- 微积分，第 8 版，2015 年。（James Stewart）
- 《微积分》，第4版，2008年。（Michael Spivak）
- 《微积分》，第11版，2017年。（Ron Larson, Bruce Edwards）
- 《托马斯微积分》，第14版，2017年。（Joel Hass, Christopher Heil, Maurice Weir）
我喜欢斯图尔特（Stewart），但它们都大同小异。都很难学。
微积分
你将被要求做大量的习题。这是没有办法的。
也许可以大致翻阅几本，然后选择一本最适合你的学习风格的。
总结
在本教程中，你了解了适用于机器学习的微积分书籍。
你读过这些书中的任何一本吗？或者你打算购买一本？
在下面的评论中告诉我。
你还知道其他优秀的微积分书籍吗？
请在评论中告诉我。
亲爱的Jason
感谢您的内容。
大约一个月前，我开始阅读《机器学习数学》这本书。
在此之前，我花了很多时间阅读了几本包含不必要章节的书籍，但我发现这本书完美地收集了第三、四、五章等主题。
虽然我对它的符号有些困难，但最终我习惯了。
干得好！
我同意，这是一本很不错的书。
我也在读这本书！它的结构很好，我强烈推荐。目前我正在学习向量微积分那一章，试图理解张量和矩阵的导数。 🙂
是的，向量微积分需要首先掌握线性代数和单变量微积分的知识。
感谢这篇精彩的帖子，Jason——它很好地提醒我们不止一种方法！
谢谢！
感谢您的推荐。
我能期待这个网站/你出一本关于微积分（针对机器学习）的电子书吗？：））我之前买过你的数学套装，非常欣赏这种学习方法。
我确实希望将来写一本。
很棒的帖子。我一直想研究这个，但还没那么深入，所以你为我节省了很多时间。
过去我经常使用《简明微积分：商业、社会科学和生命科学》。这本书是1997年的，但仍然很有帮助。它是一本教科书，但重点在于应用微积分和实际问题解决。这与你只学习你需要获得结果的策略相符。
我会推荐它，但这个秘密一定已经传开了——亚马逊上二手书的当前价格在800美元左右。
再次感谢！
感谢分享！
《商业、社会和生命科学简明微积分》
https://amzn.to/2LGqUOS
尊敬的Jason博士，
我想分享一下我对线性代数的看法，例如在机器学习中用于求解一组联立方程，请参阅资料。
你有没有想过，AFL（澳大利亚澳式足球联盟）的得分是一个线性方程组，即一组联立方程？
球场两侧各有四根立柱。内侧的立柱是球门柱，而外侧的立柱是后场柱。
假设你不知道球穿过球门柱和外侧立柱之间各得多少分。但你确实看到了以下形式的得分。例如：
2020年10月16日星期五晚上7:50（澳大利亚东部夏令时）Port Adelaide对阵Richmond的比赛。
你看到了一组联立方程组，但不知道一个球门（goal）得多少分，一个球穿过外侧立柱和球门柱之间得多少分。
x 和 y 是什么？
结论是，x 是球穿过球门柱之间的6分，y 是球穿过外侧柱和球门柱之间获得的1分。
来源
https://www.afl.com.au/matches/2903
Brownlee, J , “机器学习线性代数基础”, 第3页 (211页中的第19页)
谢谢你，
悉尼的Anthony
感谢分享！
尊敬的Jason博士，
两点
(1)
我还提请读者注意您对伊万·萨沃夫（Ivan Savov）的《线性代数无废话指南》的评论，网址是https://machinelearning.org.cn/no-bullshit-guide-to-linear-algebra-review/。
我还评价了他的另一本书《数学和物理无废话指南》。我的评论以“Anthony The Koala 2018年3月9日下午1:25”的名义发布——在该页面上进行CTRL+F搜索。
总而言之，“……我同意 Jason 博士的看法，它能让人‘……快速掌握线性代数。’而且用的是简单易懂的英语……”。此外，物理和数学部分也侧重于机械方面。
萨沃夫博士在学术界有超过15年的经验。
(2)
在您推荐的微积分书籍列表中，“机器学习微积分书籍”和“微积分教科书”标题下，可以合法下载电子书。
“机器学习微积分书籍”
Marc Peter Deisenroth, A. Aldo Faisal, and Cheng Soon Ong. “机器学习数学”, https://mml-book.github.io/。作者明确表示“我们将免费提供本书的PDF版本。”
“微积分教科书”
Gilbert Strang 的《微积分》一书可以从他的麻省理工学院开放课程网页下载：https://ocw.mit.edu/resources/res-18-001-calculus-online-textbook-spring-2005/textbook/。
您可以合法下载该教科书（38MB）以及学生和教师指南。除此之外，还有他的讲座视频。
注意
我指的是作者允许下载其资料的合法电子书下载，而不是未经作者和/或出版商许可的盗版复制品！！！！！！！！！
谢谢你
悉尼的Anthony
感谢你的好建议。
感谢您的精彩帖子！您有类似的线性代数评论吗？
不太像，也许是这个
https://machinelearning.org.cn/no-bullshit-guide-to-linear-algebra-review/
关于概率/统计，也有同样的问题……
也许这会有帮助。
开始学习线性代数
https://machinelearning.org.cn/start-here/#linear_algebra
开始学习统计学
https://machinelearning.org.cn/start-here/#statistical_methods
开始学习概率论
https://machinelearning.org.cn/start-here/#probability
先生，我有一个问题，我是一名一年级学生，希望进入机器学习领域。我应该如何开始呢？
从这里开始
https://machinelearning.org.cn/start-here/#getstarted