链式法则允许我们找到复合函数的导数。它被反向传播算法广泛计算，以训练前馈神经网络。通过以高效的方式应用链式法则并遵循特定的操作顺序，反向传播算法计算损失函数的误差梯度 […]
档案 | 微积分
拉格朗日乘数法入门
拉格朗日乘数法是一种简单而优雅的方法，用于在等式或不等式约束下找到函数的局部最小值或局部最大值。拉格朗日乘数也称为未定乘数。在本教程中，我们将讨论在给定等式约束时使用此方法。在本教程中，您将发现该方法 […]
优化/数学规划简明介绍
无论是监督学习问题还是无监督问题，都会有一些优化算法在后台运行。几乎任何分类、回归或聚类问题都可以转化为优化问题。在本教程中，您将了解什么是优化以及与之相关的概念。完成本教程后，您将 […]
拉普拉斯算子的温和介绍
拉普拉斯算子最初由皮埃尔·西蒙·拉普拉斯应用于天体力学（或外太空物体运动）的研究，因此以他的名字命名。拉普拉斯算子此后被用于描述许多不同的现象，从电势到热和流体的扩散方程 […]
Hessian 矩阵的温和介绍
海森矩阵属于涉及二阶导数的数学结构类别。它们经常用于机器学习和数据科学算法中以优化感兴趣的函数。在本教程中，您将发现海森矩阵、它们对应的判别式及其重要性。所有概念都通过示例进行说明。完成本教程后，您将 […]
雅可比矩阵简明介绍
在文献中，雅可比这个词经常互换地用来指雅可比矩阵或其行列式。矩阵和行列式都有有用且重要的应用：在机器学习中，雅可比矩阵汇集了反向传播所需的偏导数；行列式在改变 […] 的过程中很有用
高阶导数
高阶导数可以捕获一阶导数本身无法捕获的函数信息。一阶导数可以捕获重要信息，例如变化率，但它们本身无法区分局部最小值或最大值，因为在这两种情况下变化率都为零。一些优化算法解决了这个限制 […]
梯度下降过程简明介绍
梯度下降过程在机器学习中至关重要。它通常用于分类和回归问题中最小化误差函数。它也用于训练神经网络和深度学习架构。在本教程中，您将发现梯度下降过程。完成本教程后，您将知道： […]
偏导数和梯度向量简明入门
偏导数和梯度向量在机器学习算法中经常用于寻找函数的最小值或最大值。梯度向量用于训练神经网络、逻辑回归以及许多其他分类和回归问题。在本教程中，您将发现偏导数和梯度向量。完成 […]
向量值函数简介
向量值函数经常出现在机器学习、计算机图形学和计算机视觉算法中。它们对于定义空间曲线的参数方程特别有用。为了掌握更复杂的概念，对向量值函数有一个基本的了解非常重要。在本教程中，您将发现什么是向量值函数，[…]