链式法则是一种重要的导数法则，它允许我们处理复合函数。它对于理解反向传播算法的运作至关重要，该算法广泛应用链式法则来计算损失函数相对于神经网络中每个权重的误差梯度。我们将 […]
标签档案 | 多元变量
单变量和多变量函数的链式法则
链式法则允许我们找到复合函数的导数。反向传播算法广泛计算它，以训练前馈神经网络。通过以高效的方式应用链式法则并遵循特定的运算顺序，反向传播算法计算损失函数相对于 […]的误差梯度。
雅可比矩阵简明介绍
在文献中，“雅可比行列式”一词经常互换使用，指代雅可比矩阵或其行列式。矩阵和行列式都有有用且重要的应用：在机器学习中，雅可比矩阵聚合了反向传播所需的偏导数；行列式在变换过程中有用 […]
高阶导数
高阶导数可以捕捉一阶导数本身无法捕捉的函数信息。一阶导数可以捕捉重要信息，例如变化率，但它们本身无法区分局部最小值或最大值，而这两者的变化率都是零。一些优化算法解决了这一局限性 […]