单变量和多变量函数的链式法则

链式法则允许我们找到复合函数的导数。

反向传播算法广泛使用链式法则来训练前馈神经网络。通过以高效的方式应用链式法则并遵循特定的操作顺序，反向传播算法计算损失函数相对于网络中每个权重的误差梯度。 

在本教程中，您将了解单变量和多变量函数的微积分链式法则。

完成本教程后，您将了解：

• 复合函数是两个（或更多）函数的组合。 
• 链式法则允许我们找到复合函数的导数。
• 链式法则可以推广到多变量函数，并用树状图表示。 
• 反向传播算法广泛应用链式法则，以计算损失函数相对于每个权重的误差梯度。

让我们开始吧。 

单变量和多变量函数的链式法则
图片来源：Pascal Debrunner，保留部分权利。

教程概述

本教程分为四个部分；它们是

• 复合函数
• 链式法则
• 广义链式法则
• 在机器学习中的应用

先决条件

对于本教程，我们假设您已经了解以下内容：

• 多变量函数
• 幂法则
• 函数的梯度

您可以通过点击上面给出的链接来复习这些概念。

复合函数

到目前为止，我们已经遇到过单变量和多变量函数（分别称为单变量函数和多变量函数）。我们现在将它们扩展到它们的复合形式。我们最终将看到如何应用链式法则来求它们的导数，但稍后会详细介绍。 

复合函数是两个函数的组合。 

——第49页，《傻瓜微积分》，2016年。

考虑两个单自变量函数，f(x) = 2x – 1 和 g(x) = x³。它们的复合函数可以定义如下：

h = g(f(x))

在这个操作中，g 是 f 的函数。这意味着 g 作用于函数 f 作用于 x 的结果，从而产生 h。 

让我们使用上面指定的函数来考虑一个具体的例子，以便更好地理解。 

假设 f(x) 和 g(x) 是两个级联系统，接收输入 x = 5

代表复合函数的级联系统

由于 f(x) 是级联中的第一个系统（因为它在复合函数中是内部函数），其输出首先计算出来：

f(5) = (2 × 5) – 1 = 9

然后将此结果作为输入传递给 g(x)，即级联中的第二个系统（因为它在复合函数中是外部函数），以产生复合函数的最终结果：

g(9) = 9³ = 729

我们也可以一次性计算出最终结果，如果执行以下计算：

h = g(f(x)) = (2x – 1)³ = 729

函数组合也可以被认为是链接过程，用一个更熟悉的术语来说，其中一个函数的输出作为链中下一个函数的输入。 

对于复合函数，顺序很重要。 

——第49页，《傻瓜微积分》，2016年。

请记住，函数组合是一个非交换过程，这意味着在级联（或链）中交换 f(x) 和 g(x) 的顺序不会产生相同的结果。因此： 

g(f(x)) ≠ f(g(x))

函数的组合也可以扩展到多变量情况

h = g(r, s, t) = g(r(x, y), s(x, y), t(x, y)) = g(f(x, y)) 

这里，f(x, y) 是一个有两个自变量（或输入）x 和 y 的向量值函数。它由三个分量（对于这个特定示例）组成，即 r(x, y)、s(x, y) 和 t(x, y)，它们也称为 f 的分量函数。 

这意味着 f(x, y) 会将两个输入映射到三个输出，然后将这三个输出输入到链中的下一个系统 g(r, s, t) 中，以生成 h。 

链式法则

链式法则允许我们找到复合函数的导数。 

首先，我们来定义链式法则如何对复合函数求导，然后将其分解为独立的组成部分以便更好地理解。如果再次考虑复合函数 h = g(f(x))，那么其由链式法则给出的导数为：

这里，u 是内部函数 f 的输出（因此，u = f(x)），然后将其作为输入传递给下一个函数 g 以产生 h（因此，h = g(u)）。因此，请注意链式法则如何通过中间变量 u 将最终输出 h 与输入 x 联系起来。

回想一下，复合函数的定义如下：

h(x) = g(f(x)) = (2x – 1)³

链式法则的第一个组成部分，dh / du，告诉我们首先找到复合函数外部部分的导数，同时忽略内部的任何内容。为此，我们将应用幂法则：

((2x – 1)³)’ = 3(2x – 1)²

然后将结果乘以链式法则的第二个组成部分，du / dx，这是复合函数内部部分的导数，这次忽略外部的任何内容：

( (2x – 1)’ )³ = 2

由链式法则定义的复合函数的导数如下：

h’ = 3(2x – 1)² × 2 = 6(2x – 1)²

我们在这里考虑了一个简单的例子，但将链式法则应用于更复杂函数的概念保持不变。我们将在单独的教程中考虑更具挑战性的函数。 

广义链式法则

我们可以将链式法则推广到单变量之外的情况。 

考虑 x ∈ ℝ^m 和 u ∈ ℝⁿ 的情况，这意味着内部函数 f 将 m 个输入映射到 n 个输出，而外部函数 g 接收 n 个输入以产生一个输出 h。对于 i = 1, …, m，广义链式法则指出：

或者以更紧凑的形式，对于 j = 1, …, n

请记住，在求多变量函数的梯度时，我们使用偏导数。

我们还可以通过树状图来可视化链式法则的运作。 

假设我们有一个两个自变量 x₁ 和 x₂ 的复合函数，定义如下：

h = g(f(x₁, x₂)) = g(u₁(x₁, x₂), u₂(x₁, x₂))

这里，u₁ 和 u₂ 作为中间变量。它的树状图表示如下：

用树状图表示链式法则

为了推导出每个输入 x₁ 和 x₂ 的公式，我们可以从树状图的左侧开始，并沿着其分支向右。通过这种方式，我们发现我们形成了以下两个公式（为简单起见，已将求和的分支进行了颜色编码）：

请注意链式法则如何通过中间变量 u_j 将最终输出 h 与每个输入 x_i 相关联。这是反向传播算法广泛应用于优化神经网络权重的一个概念。

在机器学习中的应用

观察树状图与神经网络的典型表示多么相似（尽管我们通常将后者表示为将输入放在左侧，输出放在右侧）。我们可以通过使用反向传播算法将链式法则应用于神经网络，其方式与我们上面将其应用于树状图的方式非常相似。

链式法则被极致使用的领域是深度学习，其中函数值 y 被计算为多层函数组合。 

——第159页，《机器学习数学》，2020年。

神经网络确实可以用一个巨大的嵌套复合函数来表示。例如：

y = f_K ( f_{K – 1} ( … ( f₁(x)) … ))

这里，x 是神经网络的输入（例如图像），而 y 是输出（例如类别标签）。每个函数 f_i，对于 i = 1, …, K，都有其自身的权重。 

将链式法则应用于这样的复合函数，使我们能够反向通过构成神经网络的所有隐藏层，并有效地计算损失函数相对于网络中每个权重 w_i 的误差梯度，直到我们到达输入层。 

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

书籍

• 微积分傻瓜书, 2016.
• 单变量和多变量微积分, 2020.
• 深度学习, 2017.
• 机器学习数学, 2020.

总结

在本教程中，您了解了微积分中单变量和多变量函数的链式法则。

具体来说，你学到了：

• 复合函数是两个（或更多）函数的组合。 
• 链式法则允许我们找到复合函数的导数。
• 链式法则可以推广到多变量函数，并用树状图表示。 
• 反向传播算法广泛应用链式法则，以计算损失函数相对于每个权重的误差梯度。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌握机器学习微积分！

通过微积分概念变得更聪明

...通过更好地理解微积分的符号和术语

在我的新电子书中探索如何实现
机器学习微积分

它提供**自学教程**，并附有关于以下内容的**完整工作代码**：
微分、梯度、拉格朗日乘子法、雅可比矩阵等等...

将恰到好处的微积分知识带到
您的机器学习项目

查看内容