Keras 中神经网络模型的 5 步生命周期

使用 Keras 在 Python 中创建和评估深度学习神经网络非常容易，但您必须遵循严格的模型生命周期。

在这篇文章中，您将了解在 Keras 中创建、训练和评估深度学习神经网络的逐步生命周期，以及如何使用训练好的模型进行预测。

阅读本文后，您将了解

• 如何在 Keras 中定义、编译、拟合和评估深度学习神经网络。
• 如何为回归和分类预测建模问题选择标准默认值。
• 如何将所有这些结合起来，在 Keras 中开发和运行您的第一个多层感知器网络。

使用我的新书《使用 Python 进行深度学习》启动您的项目，包括分步教程和所有示例的 Python 源代码文件。

让我们开始吧。

• 2017 年 3 月更新：针对 Keras 2.0.2、TensorFlow 1.0.1 和 Theano 0.9.0 更新了示例。
• **2018 年 3 月更新**：添加了下载数据集的备用链接，因为原始链接似乎已被删除。

Keras 中的深度学习神经网络生命周期
图片由 Martin Stitchener 拍摄，保留部分权利。

概述

下面是我们将在 Keras 中查看的神经网络模型生命周期中的 5 个步骤的概述。

1. 定义网络。
2. 编译网络。
3. 拟合网络。
4. 评估网络。
5. 进行预测。

Keras 中神经网络模型的 5 步生命周期

步骤 1. 定义网络

第一步是定义您的神经网络。

在 Keras 中，神经网络被定义为一系列层。这些层的容器是 Sequential 类。

第一步是创建 Sequential 类的一个实例。然后您可以创建您的层并按照它们应该连接的顺序添加它们。

例如，我们可以分两步完成

但是我们也可以通过创建层数组并将其传递给 Sequential 的构造函数来一步完成。

网络中的第一层必须定义预期的输入数量。指定方式可能因网络类型而异，但对于多层感知器模型，这由 input_dim 属性指定。

例如，一个小的多层感知器模型，在可见层有 2 个输入，在隐藏层有 5 个神经元，在输出层有 1 个神经元，可以定义为

可以将 Sequential 模型看作是一个管道，原始数据从底部输入，预测结果从顶部输出。

这在 Keras 中是一个有用的概念，因为传统上与层相关的关注点也可以分离出来并作为单独的层添加，清晰地显示它们在数据从输入到预测的转换中的作用。例如，转换层中每个神经元的求和信号的激活函数可以提取出来，并作为一个名为 Activation 的类似层对象添加到 Sequential 中。

激活函数的选择对输出层最重要，因为它将定义预测的格式。

例如，下面是一些常见的预测建模问题类型及其在输出层中可以使用的结构和标准激活函数

• 回归：线性激活函数或“linear”，神经元数量与输出数量匹配。
• 二元分类（2 类）：逻辑激活函数或“sigmoid”，输出层有一个神经元。
• 多类分类（>2 类）：Softmax 激活函数或“softmax”，每个类别值一个输出神经元，假设采用独热编码的输出模式。

步骤 2. 编译网络

一旦我们定义了网络，就必须编译它。

编译是一个效率步骤。它将我们定义的简单层序列转换为一系列高效的矩阵变换，格式旨在根据 Keras 的配置在您的 GPU 或 CPU 上执行。

将编译视为网络的预计算步骤。

定义模型后始终需要编译。这包括使用优化方案进行训练之前以及从保存文件中加载一组预训练权重。原因是编译步骤会准备网络的有效表示，这对于在您的硬件上进行预测也是必需的。

编译需要指定许多参数，这些参数专门用于训练您的网络。特别是用于训练网络的优化算法和用于评估网络（由优化算法最小化）的损失函数。

例如，下面是一个编译已定义模型并指定随机梯度下降（sgd）优化算法和均方误差（mse）损失函数（适用于回归类型问题）的案例。

预测建模问题的类型对可以使用的损失函数类型施加了限制。

例如，下面是一些针对不同预测模型类型的标准损失函数

• 回归：均方误差或“mse”。
• 二元分类（2 类）：对数损失，也称为交叉熵或“binary_crossentropy”。
• 多类分类（>2 类）：多类对数损失或“categorical_crossentropy”。

您可以查看 Keras 支持的损失函数套件。

最常见的优化算法是随机梯度下降，但 Keras 还支持一系列其他最先进的优化算法。

或许最常用的优化算法因其普遍较好的性能而包括

• 随机梯度下降或“sgd”，需要调整学习率和动量。
• ADAM 或“adam”，需要调整学习率。
• RMSprop 或“rmsprop”，需要调整学习率。

最后，除了损失函数之外，您还可以指定在拟合模型时要收集的指标。通常，对于分类问题，最有用的附加指标是准确性。要收集的指标在数组中按名称指定。

例如：

步骤 3. 拟合网络

网络编译完成后，就可以进行拟合，这意味着根据训练数据集调整权重。

拟合网络需要指定训练数据，包括输入模式矩阵 X 和匹配输出模式数组 y。

网络使用反向传播算法进行训练，并根据编译模型时指定的优化算法和损失函数进行优化。

反向传播算法要求网络训练指定的 epoch 次数，或者暴露给训练数据集的次数。

每个 epoch 可以分成输入-输出模式对组，称为批次。这定义了在一个 epoch 内更新权重之前网络所接触的模式数量。这也是一种效率优化，确保一次加载到内存中的输入模式不会太多。

拟合网络的最简单示例如下

一旦拟合，将返回一个 history 对象，它提供了模型在训练期间性能的摘要。这包括每个 epoch 记录的损失以及编译模型时指定的任何附加指标。

步骤 4. 评估网络

网络训练完成后，即可进行评估。

网络可以在训练数据上进行评估，但这无法提供网络作为预测模型性能的有用指示，因为它之前已经看到了所有这些数据。

我们可以评估网络在单独数据集上的性能，该数据集在测试期间是未见的。这将提供网络在未来对未见数据进行预测的性能估计。

模型评估所有测试模式的损失，以及编译模型时指定的任何其他指标，如分类准确性。将返回评估指标列表。

例如，对于使用准确率指标编译的模型，我们可以按如下方式在新数据集上对其进行评估

步骤 5. 进行预测

最后，一旦我们对拟合模型的性能满意，我们就可以使用它对新数据进行预测。

这就像在模型上调用 predict() 函数并传入一个新输入模式数组一样简单。

例如：

预测将以网络输出层提供的格式返回。

在回归问题中，这些预测可以直接以问题的格式给出，由线性激活函数提供。

对于二元分类问题，预测可能是一个第一类概率数组，可以通过四舍五入转换为 1 或 0。

对于多类分类问题，结果可能以概率数组的形式出现（假设是独热编码的输出变量），可能需要使用 argmax 函数将其转换为单个类别输出预测。

端到端工作示例

让我们将所有这些与一个小的工作示例结合起来。

此示例将使用皮马印第安人糖尿病发病二元分类问题。

下载数据集并将其保存到您的当前工作目录。

• 数据集文件.
• 数据集详情.

该问题有 8 个输入变量和一个输出类变量，整数值为 0 和 1。

我们将构建一个多层感知器神经网络，在可见层有 8 个输入，在隐藏层有 12 个神经元，使用整流器激活函数，在输出层有 1 个神经元，使用 sigmoid 激活函数。

我们将使用 ADAM 优化算法和对数损失函数对网络进行 100 个 epoch 的训练，批处理大小为 10。

拟合后，我们将在训练数据上评估模型，然后对训练数据进行独立预测。这是为了简洁起见，通常我们会在单独的测试数据集上评估模型并对新数据进行预测。

完整的代码列表如下。

运行此示例会产生以下输出

注意：由于算法或评估过程的随机性，或数值精度差异，您的结果可能会有所不同。请考虑多次运行示例并比较平均结果。

总结

在这篇文章中，您发现了使用 Keras 库的深度学习神经网络的 5 步生命周期。

具体来说，你学到了：

• 如何在 Keras 中定义、编译、拟合、评估和进行神经网络预测。
• 如何为分类和回归问题选择激活函数和输出层配置。
• 如何在 Keras 中开发和运行您的第一个多层感知器模型。

您对 Keras 中的神经网络模型或本文有任何疑问吗？请在评论中提出您的问题，我将尽力回答。