微积分链式法则 – 更多函数 作者 Stefania Cristina 于 2022年3月16日 发布于 Calculus 0 链式法则是一个重要的导数法则,它允许我们处理复合函数。它对于理解反向传播算法的运作至关重要,该算法广泛应用链式法则来计算损失函数相对于神经网络中每个权重的误差梯度。我们将 […] 继续阅读
单变量和多变量函数的链式法则 作者 Stefania Cristina 于 2022年3月16日 发布于 Calculus 15 链式法则允许我们找到复合函数的导数。反向传播算法广泛计算它,以训练前馈神经网络。通过以有效的方式应用链式法则并遵循特定的运算顺序,反向传播算法计算损失函数相对于 [...] 的误差梯度。 继续阅读
高阶导数 作者 Stefania Cristina 于 2022年3月16日 发布于 Calculus 2 高阶导数可以捕获一阶导数本身无法捕获的函数信息。一阶导数可以捕获重要信息,例如变化率,但它们本身无法区分局部最小值或最大值,因为这两者的变化率都是零。几种优化算法解决了这个限制 […] 继续阅读