训练深度学习神经网络时如何配置学习率

神经网络的权重无法通过解析方法计算。取而代之的是，权重必须通过一个称为随机梯度下降的经验优化过程来发现。

随机梯度下降在神经网络中解决的优化问题具有挑战性，而且解的空间（权重集）可能包含许多好的解（称为全局最优解），也可能包含易于找到但技能较低的解（称为局部最优解）。

在这个搜索过程中，每次步骤的模型变化量，或者说步长，被称为“学习率”，它或许是您神经网络中最需要调整的超参数，以在您的特定问题上获得良好的性能。

在本教程中，您将了解在训练深度学习神经网络时使用的学习率超参数。

完成本教程后，您将了解：

• 学习率控制着神经网络模型学习问题的速度快慢。
• 如何配置具有合理默认值的学习率，诊断行为并进行敏感性分析。
• 如何通过学习率调度、动量和自适应学习率进一步提高性能。

用我的新书《更好的深度学习》来启动你的项目，书中包含分步教程和所有示例的 Python 源代码文件。

让我们开始吧。

如何配置深度学习神经网络训练的学习率超参数
照片由 Bernd Thaller 拍摄，部分权利保留。

教程概述

本教程分为六个部分；它们是：

1. 什么是学习率？
2. 学习率的影响
3. 如何配置学习率
4. 为学习过程添加动量
5. 使用学习率调度
6. 自适应学习率

什么是学习率？

深度学习神经网络使用随机梯度下降算法进行训练。

随机梯度下降是一种优化算法，它使用训练数据集中的样本来估计模型当前状态的误差梯度，然后使用反向传播算法更新模型的权重，这通常简称为 反向传播。

在训练期间更新权重的量被称为步长或“学习率”。

具体来说，学习率是神经网络训练中一个可配置的超参数，它具有一个小的正值，通常在 0.0 到 1.0 之间。

……学习率，一个确定步长的正标量。

— 第 86 页，《深度学习》，2016。

学习率通常用小写希腊字母 eta (n) 的符号表示。

在训练过程中，反向传播估算了一个节点权重在网络中负责的错误量。它不会用完整的错误量来更新权重，而是用学习率进行缩放。

这意味着，学习率为 0.1，这是一个传统上常见的默认值，意味着网络中的权重在每次更新时都会更新 0.1 *（估计的权重误差），即估计的权重误差的 10%。

学习率的影响

神经网络通过训练数据集中的样本学习或逼近一个函数，以最佳地将输入映射到输出。

学习率超参数控制着模型学习的速率或速度。具体来说，它控制着模型权重在每次更新时（例如在每个训练样本批次结束时）更新时所分配的误差量。

给定一个配置得当的学习率，模型将在给定的训练周期数（通过训练数据的遍数）内，利用可用的资源（层数和每层的节点数）学习到最佳逼近函数。

通常，较高的学习率可以使模型学习得更快，但代价是可能达到一个次优的最终权重集。较低的学习率可能允许模型学习到更优甚至全局最优的权重集，但可能需要更长的训练时间。

在极端情况下，过大的学习率会导致过大的权重更新，模型性能（例如在训练数据集上的损失）会随着训练周期的进行而振荡。振荡的性能被认为是由于权重发散（是发散的）造成的。过小的学习率可能永远无法收敛，或者会陷入次优解。

当学习率过大时，梯度下降可能会无意中增加而不是减少训练误差。……当学习率过小时，训练不仅变慢，而且可能永久陷入高训练误差。

— 第 429 页，《深度学习》，2016。

在最坏的情况下，过大的权重更新可能会导致权重爆炸（即产生数值溢出）。

使用高学习率时，可能会遇到一个正反馈循环，其中大的权重引起大的梯度，然后又引起对权重的大的更新。如果这些更新持续增加权重的大小，那么[权重]就会迅速远离原点，直到发生数值溢出。

— 第 238 页，《深度学习》，2016。

因此，我们不应该使用过大或过小的学习率。尽管如此，我们必须以这样一种方式配置模型，即平均而言能够找到一个“足够好”的权重集，以逼近训练数据集所代表的映射问题。

如何配置学习率

为您的模型在您的训练数据集上找到一个好的学习率值非常重要。

学习率可能是最重要的高级参数。

初始学习率 [… ] 这通常是最重要的超参数，并且应该始终确保其已被调整 […] 如果只能优化一个超参数并且使用随机梯度下降，那么这个超参数就值得调整

— 深度架构的梯度下降训练实用建议，2012。

事实上，如果有资源来调整超参数，应该将大部分时间用于调整学习率。

学习率可能是最重要的超参数。如果你只能调整一个超参数，那就调整学习率。

— 第 429 页，《深度学习》，2016。

不幸的是，我们无法通过解析方法计算出给定模型在给定数据集上的最优学习率。相反，一个好的（或足够好的）学习率必须通过试错来发现。

……总的来说，无法预先计算出最佳学习率。

— 第 72 页，《神经网络探究：前馈人工神经网络的监督学习》，1999。

要考虑的学习率值范围小于 1.0 且大于 10^-6。

具有标准化输入（或映射到 (0,1) 区间的输入）的神经网络的典型值小于 1 且大于 10^−6。

— 深度架构的梯度下降训练实用建议，2012。

学习率将与优化过程的许多其他方面相互作用，并且这些相互作用可能是非线性的。尽管如此，一般来说，较小的学习率需要更多的训练周期。相反，较大的学习率需要较少的训练周期。此外，给定嘈杂的误差梯度估计，较小的 批次大小 更适合较小的学习率。

学习率的一个传统默认值是 0.1 或 0.01，这可能代表了您的问题的良好起点。

0.01 的默认值通常适用于标准的多层神经网络，但完全依赖此默认值是愚蠢的。

— 深度架构的梯度下降训练实用建议，2012。

可以使用诊断图来研究学习率如何影响模型的学习速率和学习动态。一个例子是在训练期间绘制损失随训练周期变化的折线图。折线图可以显示许多属性，例如

• 随训练周期变化的学习速率，例如快或慢。
• 模型是否学习得太快（急剧上升然后平台期）或学习得太慢（变化很小或没有变化）。
• 学习率是否可能因损失振荡而过大。

配置学习率既困难又耗时。

学习率值的选择可能相当关键，因为如果它太小，误差减小会非常缓慢，而如果它太大，可能会导致发散振荡。

— 第 95 页，《模式识别神经网络》，1995。

一种替代方法是对所选模型进行学习率敏感性分析，也称为网格搜索。这有助于突出良好学习率可能存在的数量级，并描述学习率与性能之间的关系。

通常在对数尺度上对学习率进行网格搜索，从 0.1 到 10^-5 或 10^-6。

通常，网格搜索涉及在对数尺度上选择值，例如，在集合 {.1, .01, 10−3, 10−4 , 10−5} 中选择一个学习率。

— 第 434 页，《深度学习》，2016。

当绘制出来时，这种敏感性分析的结果通常显示为“U”形，其中损失随着学习率的降低而降低（性能提高），在固定数量的训练周期下，直到损失再次急剧增加，因为模型未能收敛。

如果您需要有关尝试模型学习率的帮助，请参阅文章

• 通过深度学习神经网络了解学习率对模型性能的影响

为学习过程添加动量

通过向权重更新添加历史记录，可以使神经网络训练更加容易。

具体来说，在更新权重时，可以包含先前权重更新的指数加权平均值。这种对随机梯度下降的更改称为“动量”，它为更新过程增加了惯性，导致许多过去的更新方向在未来继续保持该方向。

动量算法会累积过去梯度的指数衰减的移动平均值，并继续沿着它们的变动方向移动。

— 第 296 页，《深度学习》，2016。

动量可以加速学习，尤其是在优化过程导航的高维“权重空间”包含误导梯度下降算法的结构时，例如平坦区域或急剧曲率。

动量方法旨在加速学习，特别是在面对高曲率、小的但一致的梯度或嘈杂的梯度时。

— 第 296 页，《深度学习》，2016。

过去更新的惯性量通过添加一个新的超参数来控制，该超参数通常被称为“动量”或“速度”，并使用希腊小写字母 alpha (a) 的符号。

……动量算法引入了一个变量 v，它起着速度的作用——它是参数在参数空间中移动的方向和速度。速度被设置为负梯度的指数衰减平均值。

— 第 296 页，《深度学习》，2016。

它具有平滑优化过程的效果，减缓更新以继续沿先前方向移动，而不是卡住或振荡。

解决特征值差异很大的问题的一个非常简单的技术是将动量项添加到梯度下降公式中。这有效地增加了权重空间中运动的惯性，并平滑了振荡。

— 第 267 页，《模式识别神经网络》，1995。

动量设置为大于 0.0 且小于 1.0 的值，实践中常用的值为 0.9 和 0.99。

实践中 [动量] 的常用值包括 .5、.9 和 .99。

— 第 298 页，《深度学习》，2016。

动量并不能让学习率的配置更容易，因为步长独立于动量。相反，动量可以与步长协同提高优化过程的速度，从而提高在更少的训练周期内发现更好的权重集的可能性。

使用学习率调度

使用固定学习率的替代方法是随训练过程改变学习率。

学习率随时间（训练周期）变化的方式称为学习率调度或学习率衰减。

也许最简单的学习率调度是从一个大的初始值线性减小到从小的值。这允许在学习过程的开始阶段进行大的权重更改，而在学习过程的后期进行小的更改或精细调整。

在实践中，有必要随着时间的推移逐渐减小学习率，因此我们现在将迭代[…]的学习率表示为。这是因为 SGD 梯度估计器引入了一个噪声源（训练样本的随机抽样），即使在我们到达最小值时也不会消失。

— 第 294 页，《深度学习》，2016。

事实上，使用学习率调度可能是训练神经网络的最佳实践。与选择固定的学习率超参数不同，配置挑战在于选择初始学习率和学习率调度。考虑到学习率调度可能允许的更好性能，初始学习率的选择可能不如选择固定学习率敏感。

学习率可以衰减到一个接近零的小值。或者，学习率可以在固定的训练周期数上衰减，然后在剩余的训练周期中保持在一个小值，以方便更多的精细调整时间。

在实践中，通常将学习率线性衰减到迭代 [tau]。在迭代 [tau] 之后，通常将 [学习率] 保持不变。

— 第 295 页，《深度学习》，2016。

自适应学习率

学习算法可以监测模型在训练数据集上的性能，并相应地调整学习率。

这称为自适应学习率。

也许最简单的实现方式是在模型性能达到平台期后减小学习率，例如将学习率减半或降低一个数量级。

一个合理的优化算法选择是带有动量的 SGD 和衰减的学习率（在不同问题上表现更好或更差的流行衰减方案包括线性衰减直到达到固定的最小学习率、指数衰减，或每次验证误差达到平台期时将学习率降低 2-10 倍）。

— 第425页，深度学习，2016。

或者，如果性能在固定数量的训练周期内没有改善，学习率可以再次增加。

自适应学习率方法通常会优于学习率配置不当的模型。

事先选择好学习率的难度是自适应学习率方法如此有用和流行的原因之一。一个好的自适应算法通常比具有选择不当的固定学习率的简单反向传播收敛得快得多。

— 第 72 页，《神经网络探究：前馈人工神经网络的监督学习》，1999。

虽然没有一种方法在所有问题上都效果最佳，但有三种自适应学习率方法已被证明在许多类型的神经网络架构和问题类型上都具有鲁棒性。

它们是 AdaGrad、RMSProp 和 Adam，它们都维护并为模型中的每个权重自适应调整学习率。

也许最受欢迎的是 Adam，因为它建立在 RMSProp 的基础上并增加了动量。

此时，一个自然的问题是：应该选择哪种算法？不幸的是，目前对此没有共识。目前，最受欢迎的活跃使用的优化算法包括 SGD、带动量的 SGD、RMSProp、带动量的 RMSProp、AdaDelta 和 Adam。

— 第 309 页，《深度学习》，2016。

一个稳健的策略可能是首先使用现代版的随机梯度下降（如 Adam）来评估模型性能，并将其结果用作基准。然后，如果有时间，探索是否可以通过仔细选择的学习率或更简单的学习率调度来改进。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

文章

• 通过深度学习神经网络了解学习率对模型性能的影响

论文

• 深度架构基于梯度的训练的实用建议, 2012.

书籍

• 第 8 章：深度模型训练优化，《深度学习》，2016。
• 第 6 章：学习率与动量，《神经网络探究：前馈人工神经网络的监督学习》，1999。
• 第 5.7 节：梯度下降，《模式识别神经网络》, 1995.

文章

• 随机梯度下降，维基百科.
• 反向传播应该使用什么学习率？，《神经网络 FAQ》.

总结

在本教程中，您了解了在训练深度学习神经网络时使用的学习率超参数。

具体来说，你学到了：

• 学习率控制着神经网络模型学习问题的速度快慢。
• 如何配置具有合理默认值的学习率，诊断行为并进行敏感性分析。
• 如何通过学习率调度、动量和自适应学习率进一步提高性能。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

今天就开发更好的深度学习模型！

更快地训练，减少过拟合，以及集成方法

...只需几行python代码

在我的新电子书中探索如何实现
更好的深度学习

它提供关于以下主题的自学教程：
权重衰减、批量归一化、dropout、模型堆叠等等...

为你的项目带来更好的深度学习！

跳过学术理论。只看结果。

查看内容