如何使用 Keras 构建多层感知器神经网络模型

用于深度学习的 Keras Python 库专注于将模型创建为一系列层。

在本教程中，您将使用 Keras 和 TensorFlow 来发现可用于创建神经网络和简单深度学习模型的简单组件。

通过我的新书《Python 深度学习》来启动您的项目，其中包括分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 2016 年 5 月：初版
• 2017 年 3 月更新：针对 Keras 2.0.2、TensorFlow 1.0.1 和 Theano 0.9.0 更新了示例。
• 更新于 2022 年 6 月：代码已更新为 TensorFlow 2.x。外部链接已更新。

如何使用 Keras 构建多层感知器神经网络模型
照片来源：George Rex，部分权利保留。

Keras 中的神经网络模型

Keras 库的重点是模型。

最简单的模型在 Sequential 类中定义，它是一个线性堆叠的层。

您可以创建 Sequential 模型并在构造函数中定义所有层；例如：

一个更实用的方法是创建一个 Sequential 模型，并按照您希望执行的计算顺序添加您的层；例如：

模型输入

模型中的第一层必须指定输入的形状。

这是由 input_shape 参数定义的输入属性的数量。此参数期望一个元组。

例如，您可以如下为 Dense 类型层定义 8 个输入：

模型层

不同类型的层有一些共同的属性，特别是它们的权重初始化方法和激活函数。

权重初始化

用于层初始化的类型在 kernel_initializer 参数中指定。

一些常见的层初始化类型包括：

• random_uniform：权重被初始化为介于 -0.05 和 0.05 之间的小均匀随机值。
• random_normal：权重被初始化为小的、均值为零、标准差为 0.05 的高斯随机值。
• zeros：所有权重都被设置为零值。

您可以在 初始化用法 页面上找到支持的初始化技术的完整列表。

激活函数

Keras 支持一系列标准的神经元激活函数，例如 softmax、ReLU（整流线性单元）、tanh 和 sigmoid。

您通常在 activation 参数中指定层使用的激活函数的类型，该参数接受一个字符串值。

您可以在 激活用法 页面上找到 Keras 支持的激活函数的完整列表。

有趣的是，您还可以创建一个 Activation 对象并将其直接添加到模型中，在您的层之后应用该激活函数。

层类型

对于标准神经网络，有大量的核心层类型。

您可以从一些常见且有用的层类型中进行选择：

• Dense：全连接层，是多层感知器模型中最常用的层类型
• Dropout：将 dropout 应用于模型，将一部分输入设置为零，以减少过拟合
• Concatenate：将多个层的输出组合起来作为单个层的输入

您可以在 核心层 页面上了解 Keras 核心层的所有完整列表。

模型编译

一旦您定义了模型，就需要对其进行编译。

这会创建 TensorFlow 用于在训练期间高效执行模型的有效结构。具体来说，TensorFlow 会将您的模型转换为图，以便可以高效地进行训练。

您可以使用 compile() 函数来编译您的模型，它接受三个重要属性：

1. 模型优化器
2. 损失函数
3. 度量标准

1. 模型优化器

优化器是用于更新模型权重的搜索技术。

您可以创建一个优化器对象，并通过 optimizer 参数将其传递给 compile 函数。这允许您使用自己的参数（如学习率）来配置优化过程。例如：

您还可以通过将优化器的名称指定给 optimizer 参数来使用优化器的默认参数。例如：

您可能想要选择的一些流行的梯度下降优化器包括：

• SGD：随机梯度下降，支持动量
• RMSprop：Geoff Hinton 提出的自适应学习率优化方法
• Adam：自适应矩估计（Adam），也使用自适应学习率

您可以在 优化器用法 页面上了解 Keras 支持的所有优化器。

您可以在 Sebastian Ruder 的文章 梯度下降优化算法概述 的“梯度下降优化算法”部分了解更多关于不同梯度下降方法的信息。

2. 模型损失函数

损失函数，也称为目标函数，是优化器用来导航权重空间的模型评估。

您可以通过 loss 参数在 compile 函数中使用要使用的损失函数的名称。一些常见示例包括：

• ‘mse‘：均方误差
• ‘binary_crossentropy‘：二元对数损失 (logloss)
• ‘categorical_crossentropy‘：多类对数损失 (logloss)

您可以在 损失 页面上了解 Keras 支持的损失函数的更多信息。

3. 模型度量标准

在训练期间，模型会评估度量标准。

目前仅支持一个度量标准，即准确度。

模型训练

模型在 NumPy 数组上使用 fit() 函数进行训练；例如：

训练同时指定了训练的 epoch 数量和批次大小。

• Epochs (epochs) 指的是模型暴露于训练数据集的次数。
• Batch Size (batch_size) 是在执行权重更新之前显示给模型的训练实例的数量。

fit 函数还允许在训练期间对模型进行一些基本评估。您可以设置 validation_split 值，从训练数据集中保留一部分用于在每个 epoch 中进行验证评估，或者提供一个 validation_data 元组 (X, y) 来进行评估。

拟合模型会返回一个 history 对象，其中包含模型在每个 epoch 中计算的详细信息和度量标准。这可用于绘制模型性能图。

模型预测

训练完模型后，您可以使用它来预测测试数据或新数据。

您可以从训练好的模型中计算出多种不同的输出类型，每种类型都可以通过模型对象上的不同函数调用来计算。例如：

• model.evaluate()：计算输入数据的损失值
• model.predict()：为输入数据生成网络输出

例如，如果您提供了数据批次 X 和期望的输出 y，您可以使用 evaluate() 来计算损失度量（在 compile() 中定义的那个）。但是，对于新数据批次 X，您可以使用 predict() 来获取网络输出。它可能不是您想要的输出，但它将是您网络的输出。例如，分类问题可能会为每个样本输出一个 softmax 向量。您需要使用 numpy.argmax() 将 softmax 向量转换为类别标签。

总结模型

一旦您对模型满意，就可以对其进行最终确定。

您可能希望输出模型的摘要。例如，您可以调用 summary 函数来显示模型的摘要：

您还可以使用 get_config() 函数检索模型配置的摘要：

最后，您可以直接创建模型结构的图像：

资源

您可以使用以下资源了解如何使用 Keras 创建简单的神经网络和深度学习模型：

• Keras 顺序模型入门.
• 关于 Keras 模型.
• Sequential 模型 API.

总结

在本教程中，您发现了 Keras API，可用于创建人工神经网络和深度学习模型。

具体来说，您了解了 Keras 模型的生命周期，包括：

• 构建模型
• 创建和添加层，包括权重初始化和激活
• 编译模型，包括优化方法、损失函数和度量标准
• 拟合模型，包括 epoch 和批次大小
• 模型预测
• 总结模型

如果您对 Keras 深度学习或本教程有任何疑问，请在评论区提问，我将尽力回答。