档案 | 深度学习性能

神经网络使用梯度下降进行训练，其中用于更新权重的误差估计是根据训练数据集的一个子集计算的。用于误差梯度估计的训练数据集中的样本数量称为批次大小，它是一个重要的超参数，[...]

批标准化是一种旨在自动标准化深度学习神经网络层输入的技巧。实施后，批标准化可以显著加速神经网络的训练过程，有时还能通过适度的正则化效果提高模型的性能。在本教程中，[...]

训练具有数十层的深度神经网络具有挑战性，因为它们可能对初始随机权重和学习算法配置敏感。造成这种困难的一个可能原因是，当权重更新时，网络深层输入的分布在每个小批量之后可能会发生变化。这 [...]

开发神经网络通常被称为一种黑暗艺术。原因是，擅长开发神经网络模型来自于经验。没有可靠的方法可以通过分析来计算如何为特定数据集设计一个“好”或“最佳”的模型。您必须借鉴经验并进行实验 [...]

梯度消失问题是您在训练深度神经网络时可能遇到的不稳定行为的一个例子。它描述了深度多层前馈网络或循环神经网络无法将有用的梯度信息从模型的输出端反向传播到靠近 [...] 的层的情况。

在神经网络中，激活函数负责将来自节点的加权输入总和转换为该节点或该输入的激活。修正线性激活函数，简称 ReLU，是一个分段线性函数，如果输入为正，它将直接输出该输入，否则 [...]

神经网络的训练过程是一个具有挑战性的优化过程，通常可能无法收敛。这意味着训练结束时的模型可能不是一个稳定或性能最佳的权重集，无法用作最终模型。解决此问题的一种方法是使用平均 [...]

模型集成可以实现比单个模型更低的泛化误差，但由于训练每个单个模型的计算成本，使用深度学习神经网络进行开发具有挑战性。一种替代方法是在单次训练运行中训练多个模型快照，并组合它们的预测以生成集成预测。这 [...]

监督学习具有挑战性，尽管这种挑战的深度往往是学到的然后被遗忘或被故意忽略。事实必然如此，因为过多地关注这种挑战可能会导致悲观的展望。尽管存在挑战，我们仍然使用监督学习算法，并且它们在实践中表现良好。基本 [...]

模型平均是一种集成技术，其中多个子模型对组合预测做出相等的贡献。通过子模型对组合预测的贡献进行加权，可以改进模型平均，加权依据是子模型的预期性能。这可以进一步扩展，通过训练一个全新的模型来学习如何 [...]