档案 | 深度学习性能

Dropout 正则化是一种对深度神经网络进行正则化的计算成本低廉的方法。Dropout 的工作原理是概率性地移除或“丢弃”层的输入，这些输入可能是数据样本中的输入变量，也可能是前一层的激活值。它具有模拟大量具有非常不同网络结构的网络的效果[…]

在样本较少的情况下，深度学习神经网络很可能很快对训练数据集产生过拟合。众所周知，使用不同模型配置的神经网络集成可以减少过拟合，但这需要额外的计算开销来训练和维护多个模型。可以使用单个模型来模拟拥有大量不同的网络[…]

活动正则化提供了一种鼓励神经网络学习稀疏特征或原始观测数据的内部表示的方法。在自编码器（称为稀疏自编码器）和编码器-解码器模型中寻求稀疏的学习表示是很常见的，不过这种方法也可以普遍用于减少过拟合和提高模型的泛化能力[…]

深度学习模型能够从原始输入数据中自动学习丰富的内部表示。这被称为特征学习或表示学习。反过来，更好的学习表示可以带来对领域更深入的洞察（例如通过可视化学习到的特征），以及利用学习到的特征构建更好的预测模型。一个[…]

权重约束提供了一种方法，可以减少深度学习神经网络模型在训练数据上的过拟合，并提高模型在新数据（如留存的测试集）上的性能。权重约束有多种类型，例如最大范数和单位向量范数，有些需要一个超参数[…]

像权重衰减这样的权重正则化方法，在训练神经网络时向损失函数引入一个惩罚项，以鼓励网络使用较小的权重。神经网络中较小的权重可以使模型更稳定，更不容易过拟合训练数据集，从而在[…]时有更好的性能。

权重正则化提供了一种方法，可以减少深度学习神经网络模型在训练数据上的过拟合，并提高模型在新数据（如留存的测试集）上的性能。权重正则化有多种类型，例如L1和L2向量范数，每种都需要一个超参数[…]

神经网络学习一组能最好地将输入映射到输出的权重。一个具有较大网络权重的网络可能是一个不稳定网络的标志，即输入中的微小变化可能导致输出的巨大变化。这可能表明网络已经过拟合了训练数据集，并且[…]

人工神经网络有两个主要的超参数控制网络的架构或拓扑：层数和每个隐藏层中的节点数。在配置网络时，您必须为这些参数指定值。为您的特定预测建模问题配置这些超参数的最可靠方法是[…]

为您的深度学习模型选择优化算法，可能意味着在几分钟、几小时和几天内获得好结果的差别。Adam 优化算法是随机梯度下降的扩展，最近在计算机视觉和自然语言处理的深度学习应用中得到了更广泛的采用。在这篇文章中，您将[…]