训练深度学习神经网络的损失和损失函数

神经网络使用随机梯度下降法进行训练，并且在设计和配置模型时需要选择一个损失函数。

有很多损失函数可供选择，知道选择哪个，甚至损失函数是什么以及它在训练神经网络时所起的作用，都可能是一个挑战。

在本文中，您将了解损失和损失函数在训练深度学习神经网络中的作用，以及如何为您的预测建模问题选择正确的损失函数。

阅读本文后，你将了解：

• 神经网络通过优化过程进行训练，该过程需要损失函数来计算模型误差。
• 最大似然为选择神经网络和一般机器学习模型的训练损失函数提供了框架。
• 交叉熵和均方误差是训练神经网络模型时使用的两种主要损失函数。

用我的新书《更好的深度学习》来启动你的项目，书中包含分步教程和所有示例的 Python 源代码文件。

让我们开始吧。

训练深度学习神经网络的损失和损失函数
照片由 Ryan Albrey 拍摄，保留部分权利。

概述

本教程分为七个部分，它们是：

1. 神经网络学习作为优化
2. 什么是损失函数和损失？
3. 最大似然
4. 最大似然与交叉熵
5. 使用哪个损失函数？
6. 如何实现损失函数
7. 损失函数和报告的模型性能

我们将重点关注损失函数背后的理论。

有关选择和实现不同损失函数的帮助，请参阅帖子

• 训练深度学习神经网络时如何选择损失函数

神经网络学习作为优化

深度学习神经网络学习从训练数据中映射一组输入到一组输出。

我们无法计算神经网络的完美权重；未知数太多。相反，学习问题被视为搜索或优化问题，并使用算法来导航模型可能使用的各种权重集合的空间，以便做出良好或足够好的预测。

通常，神经网络模型使用随机梯度下降优化算法进行训练，并使用误差反向传播算法更新权重。

梯度下降中的“梯度”指的是误差梯度。使用给定权重集合的模型用于进行预测，并计算这些预测的误差。

梯度下降算法试图改变权重，以便下次评估可以减少误差，这意味着优化算法沿着误差的梯度（或斜率）向下导航。

现在我们知道了训练神经网络是解决优化问题，我们可以看看给定权重集合的误差是如何计算的。

什么是损失函数和损失？

在优化算法的上下文中，用于评估候选解（即一组权重）的函数称为目标函数。

我们可以寻求最大化或最小化目标函数，这意味着我们正在寻找一个得分最高或最低的候选解。

通常，对于神经网络，我们寻求最小化误差。因此，目标函数通常被称为成本函数或损失函数，损失函数计算的值简称为“损失”。

我们想要最小化或最大化的函数称为目标函数或标准。当我们最小化它时，我们也可以称之为成本函数、损失函数或误差函数。

— 第 82 页，《深度学习》，2016。

成本或损失函数有一个重要的工作，那就是它必须忠实地将模型的所有方面提炼成一个数字，这样该数字的改进就标志着一个更好的模型。

成本函数将一个可能复杂的系统的各种好坏方面归结为一个数字，一个标量值，这使得候选解能够被排序和比较。

— 第 155 页，《神经网络：前馈人工神经网络的监督学习》，1999。

在优化过程中计算模型误差时，必须选择一个损失函数。

这可能是一个具有挑战性的问题，因为函数必须捕捉问题的特性，并且需要考虑对项目和利益相关者很重要的问题。

因此，重要的是函数要忠实地代表我们的设计目标。如果我们选择了糟糕的误差函数并获得了不满意结果，那将是我们未能正确指定搜索目标的过错。

— 第 155 页，《神经网络：前馈人工神经网络的监督学习》，1999。

现在我们熟悉了损失函数和损失，我们需要知道要使用什么函数。

最大似然

有许多函数可以用来估计神经网络中一组权重的误差。

我们倾向于使用一个函数，其中候选解的空间映射到一个平滑的（但高维的）景观，优化算法可以通过迭代更新模型权重来合理地导航。

最大似然估计，或 MLE，是用于从历史训练数据中寻找参数最佳统计估计的推理框架：这正是我们用神经网络试图做的事情。

最大似然通过最大化从训练数据导出的似然函数来寻找参数的最佳值。

— 第 39 页，《模式识别神经网络》，1995。

我们有一个包含一个或多个输入变量的训练数据集，并且我们需要一个模型来估计模型权重参数，这些参数能最好地将输入的示例映射到输出或目标变量。

给定输入，模型正在尝试做出与目标变量的数据分布相匹配的预测。在最大似然下，损失函数用于估计模型预测的分布与训练数据中目标变量的分布匹配的程度。

最大似然估计的一种解释方式是将其视为最小化由训练集定义的经验分布 [...] 和模型分布之间的不相似性，其中衡量两个分布之间不相似性的程度是 KL 散度。 [...] 最小化此 KL 散度等同于最小化分布之间的交叉熵。

— 第 132 页，《深度学习》，2016。

使用最大似然作为估计神经网络和一般机器学习模型参数（权重）的框架的一个好处是，随着训练数据集中示例数量的增加，模型参数的估计会得到改进。这被称为“一致性”属性。

在适当的条件下，最大似然估计量具有一致性属性 [...]，这意味着随着训练示例的数量趋于无穷大，参数的最大似然估计会收敛到参数的真实值。

— 第 134 页，《深度学习》，2016。

现在我们熟悉了最大似然的一般方法，我们可以看一下误差函数。

最大似然与交叉熵

在最大似然框架下，使用 交叉熵 来衡量两个概率分布之间的误差。

在对分类问题建模时，我们有兴趣将输入变量映射到类别标签，我们可以将问题建模为预测一个示例属于每个类别的概率。在二元分类问题中，将有两个类别，因此我们可以预测该示例属于第一个类别的概率。对于多类分类，我们可以为该示例属于每个类别的概率进行预测。

在训练数据集中，一个示例属于给定类别的概率将是 1 或 0，因为训练数据集中的每个样本都是该领域的已知示例。我们知道答案。

因此，在最大似然估计下，我们将寻求一组模型权重，以最小化模型对给定数据集的预测概率分布与训练数据集中概率分布之间的差异。这称为交叉熵。

在大多数情况下，我们的参数模型定义了一个分布 [...]，我们只需使用最大似然原理。这意味着我们使用训练数据和模型预测之间的交叉熵作为成本函数。

— 第 178 页，《深度学习》，2016。

严格来说，交叉熵来自信息论领域，单位是“bits”。它用于估计估计概率分布和预测概率分布之间的差异。

在回归问题中，当预测一个数量时，通常使用均方误差（MSE）损失函数。

一些基本函数非常常用。均方误差对于函数逼近（回归）问题很受欢迎 [...] 交叉熵误差函数通常用于输出被解释为属于指示类别的概率的分类问题。

— 第 155-156 页，《神经网络：前馈人工神经网络的监督学习》，1999。

然而，在最大似然估计框架下，并假设目标变量服从高斯分布，均方误差可以被视为模型预测分布与目标变量分布之间的交叉熵。

许多作者使用“交叉熵”一词特指伯努利或 softmax 分布的负对数似然，但这是一种误称。任何由负对数似然组成的损失都是由训练集定义的经验分布与模型定义的概率分布之间的交叉熵。例如，均方误差是经验分布与高斯模型之间的交叉熵。

— 第 132 页，《深度学习》，2016。

因此，在使用最大似然估计框架时，我们将实现一个交叉熵损失函数，在实践中这通常意味着分类问题的交叉熵损失函数和回归问题的均方误差损失函数。

几乎普遍地，深度学习神经网络在最大似然框架下使用交叉熵作为损失函数进行训练。

大多数现代神经网络都使用最大似然进行训练。这意味着成本函数 [...] 被描述为训练数据和模型分布之间的交叉熵。

— 第 178-179 页，《深度学习》，2016。

事实上，采用这种框架可以被认为是深度学习的一个里程碑，因为在完全正式化之前，用于分类的神经网络有时会使用均方误差损失函数。

这些算法更改之一是用交叉熵系列损失函数替换了均方误差。均方误差在 20 世纪 80 年代和 90 年代很受欢迎，但随着统计学界和机器学习界思想的传播，它逐渐被交叉熵损失和最大似然原理所取代。

— 第 226 页，《深度学习》，2016。

最大似然方法几乎被普遍采用，不仅是因为理论框架，主要是因为其产生的成果。具体来说，使用输出层 sigmoid 或 softmax 激活函数的分类神经网络在使用交叉熵损失函数时学习更快、更鲁棒。

使用交叉熵损失函数大大提高了具有 sigmoid 和 softmax 输出的模型的性能，而这些模型以前在使用均方误差损失时遇到了饱和和学习缓慢的问题。

— 第 226 页，《深度学习》，2016。

使用哪个损失函数？

我们可以总结上一节，并直接建议在最大似然框架下您应该使用的损失函数。

重要的是，损失函数的选择直接关系到您的神经网络输出层使用的激活函数。这两个设计元素是相互关联的。

将输出层配置视为选择预测问题的框架，而损失函数的选择是计算给定问题框架下误差的方法。

成本函数的选择与输出单元的选择紧密耦合。大多数时候，我们只是使用数据分布和模型分布之间的交叉熵。选择如何表示输出然后决定交叉熵函数的格式。

— 第 181 页，《深度学习》，2016。

我们将根据输出层和损失函数回顾每种问题类型的最佳实践或默认值。

回归问题

您预测一个实数值的问题。

• 输出层配置：一个带有线性激活单元的节点。
• 损失函数：均方误差（MSE）。

二分类问题

您将一个示例分类为属于两个类别之一的问题。

该问题被表述为预测一个示例属于类别一的概率，例如您为其分配整数值 1 的类别，而另一个类别被分配值 0。

• 输出层配置：一个带有 sigmoid 激活单元的节点。
• 损失函数：交叉熵，也称为对数损失。

多类别分类问题

您将一个示例分类为属于两个以上类别之一的问题。

该问题被表述为预测一个示例属于每个类别的概率。

• 输出层配置：每个类别使用 softmax 激活函数的一个节点。
• 损失函数：交叉熵，也称为对数损失。

如何实现损失函数

为了使损失函数具体化，本节解释了每种主要类型的损失函数如何工作以及如何在 Python 中计算得分。

均方误差损失

均方误差损失，简称 MSE，计算为预测值和实际值之间平方差的平均值。

无论预测值和实际值的符号如何，结果始终为正，并且完美值为 0.0。损失值被最小化，尽管它也可以通过使分数变负来进行最大化优化过程。

下面的 Python 函数提供了计算实际和预测实值数量列表的均方误差的伪代码式的可工作实现。

为了高效实现，我建议您使用 scikit-learn 的 mean_squared_error() 函数。

交叉熵损失（或对数损失）

交叉熵损失通常简称为“交叉熵”、“对数损失”、“逻辑损失”或简称为“log loss”。

将每个预测概率与实际类别输出值（0 或 1）进行比较，并计算一个分数，该分数根据与期望值的距离对概率进行惩罚。惩罚是对数的，对小差异（0.1 或 0.2）给出小分数，对大差异（0.9 或 1.0）给出巨大分数。

交叉熵损失被最小化，其中较小的值表示比较大的值更好的模型。完美预测概率的模型具有 0.0 的交叉熵或对数损失。

交叉熵对于二元或二类别预测问题实际上是计算所有示例的平均交叉熵。

下面的 Python 函数提供了一个伪代码式的可工作实现，用于计算实际的 0 和 1 值与类别 1 的预测概率之间的交叉熵。

注意，我们在预测概率中添加了一个非常小的值（此处为 1E-15），以避免计算 log(0.0)。这意味着在实践中，最佳损失值将非常接近零，但不是零。

交叉熵可以为多类别分类计算。类别已被进行独热编码，这意味着每个类别值都有一个二进制特征，并且预测必须为每个类别提供预测概率。然后，交叉熵将跨每个二进制特征进行求和，并跨数据集中的所有示例进行平均。

下面的 Python 函数提供了伪代码式的可工作实现，用于计算实际的独热编码值与每个类别的预测概率之间的交叉熵。

为了高效实现，我建议您使用 scikit-learn 的 log_loss() 函数。

损失函数和报告的模型性能

在最大似然框架下，我们知道我们想在随机梯度下降中使用交叉熵或均方误差损失函数。

然而，我们可能想使用损失函数报告模型性能，也可能不想。

例如，对数损失难以解释，特别是对于非机器学习从业者。均方误差也是如此。相反，报告分类和回归模型所用的准确率和均方根误差可能更重要。

根据这些指标而不是损失来选择模型也是可取的。这是一个重要的考虑因素，因为具有最小损失的模型可能不是具有对项目利益相关者重要的最佳指标的模型。

一个好的划分是使用损失来评估和诊断模型学习得有多好。这包括优化过程的所有考虑因素，例如过拟合、欠拟合和收敛。然后可以选择一个对项目利益相关者有意义的替代指标，用于评估模型性能和执行模型选择。

• 损失：仅用于评估和诊断模型优化。
• 指标：用于在项目背景下评估和选择模型。

同一指标可以用于这两种考虑，但优化过程的考虑因素与项目目标不同的可能性更大，并且需要不同的分数。尽管如此，改进损失通常也能改进或最差地不影响感兴趣的指标。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

书籍

• 深度学习, 2016.
• 《神经网络精工：前馈人工神经网络中的监督学习》, 1999.
• 《用于模式识别的神经网络》, 1995.

文章

• 最大似然估计，维基百科.
• Kullback–Leibler 散度，维基百科.
• 交叉熵，维基百科.
• 均方误差，维基百科.
• Log Loss，FastAI Wiki.

总结

在本文中，您了解了损失和损失函数在训练深度学习神经网络中的作用，以及如何为您的预测建模问题选择正确的损失函数。

具体来说，你学到了：

• 神经网络通过优化过程进行训练，该过程需要损失函数来计算模型误差。
• 最大似然为选择神经网络和一般机器学习模型的训练损失函数提供了框架。
• 交叉熵和均方误差是训练神经网络模型时使用的两种主要损失函数。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

今天就开发更好的深度学习模型！

更快地训练，减少过拟合，以及集成方法

...只需几行python代码

在我的新电子书中探索如何实现
更好的深度学习

它提供关于以下主题的自学教程：
权重衰减、批量归一化、dropout、模型堆叠等等...

为你的项目带来更好的深度学习！

跳过学术理论。只看结果。

查看内容