使用 Python 和 Keras 的第一个深度学习项目分步指南

Keras 是一个强大且易于使用的免费开源 Python 库，用于开发和评估深度学习模型。

它是 TensorFlow 库的一部分，允许您仅用几行代码即可定义和训练神经网络模型。

在本教程中，您将学习如何使用 Keras 在 Python 中创建您的第一个深度学习神经网络模型。

快速开始您的项目，阅读我的新书 Deep Learning With Python，其中包含分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 更新于 2017 年 2 月：更新了预测示例，以便在 Python 2 和 3 中都可以进行四舍五入。
• 更新于 2017 年 3 月：更新了最新版本的 Keras 和 TensorFlow 的示例。
• 2018 年 3 月更新：添加了下载数据集的备用链接。
• 更新于 2019 年 7 月：扩展并添加了更多有用的资源。
• 更新于 2019 年 9 月：更新了 Keras v2.2.5 API。
• 更新于 2019 年 10 月：更新了 Keras v2.3.0 API 和 TensorFlow v2.0.0。
• 更新于 2020 年 8 月：更新了 Keras v2.4.3 和 TensorFlow v2.3。
• 更新于 2021 年 10 月：`predict_class` 语法已弃用。
• 更新于 2022 年 6 月：更新为现代 TensorFlow 语法。

分步用 Keras 在 Python 中开发你的第一个神经网络
照片由 Phil Whitehouse 拍摄，部分权利保留。

Keras 教程概述

代码量不多，但我们会慢慢讲解，以便您将来知道如何创建自己的模型。

本教程将教您以下步骤：

1. 加载数据
2. 定义 Keras 模型
3. 编译 Keras 模型
4. 拟合 Keras 模型
5. 评估 Keras 模型
6. 整合所有内容
7. 进行预测

此 Keras 教程做了一些假设。您需要具有：

1. 已安装并配置的 Python 2 或 3
2. 已安装并配置的 SciPy（包括 NumPy）
3. 已安装并配置的 Keras 和后端（Theano 或 TensorFlow）

如果您需要有关环境的帮助，请参阅教程

• 如何设置用于深度学习的 Python 环境

创建一个名为 keras_first_network.py 的新文件，并在其中键入或复制粘贴代码。

1. 加载数据

第一步是定义您打算在此教程中使用的函数和类。

您将使用 NumPy 库加载数据集，并使用 Keras 库中的两个类来定义模型。

下面列出了所需的导入。

现在我们可以加载我们的数据集了。

在本 Keras 教程中，您将使用 Pima 印第安人糖尿病发病数据集。这是来自 UCI 机器学习仓库的标准机器学习数据集。它描述了 Pima 印第安人的患者病历数据以及他们是否在五年内出现糖尿病发作。

因此，这是一个二元分类问题（糖尿病发作记为 1，未发作记为 0）。描述每位患者的所有输入变量都是数值型的。这使得它可以直接与需要数值输入和输出值的神经网络一起使用，并且是我们第一个 Keras 神经网络的理想选择。

数据集可在此处获取：

• 数据集 CSV 文件 (pima-indians-diabetes.csv)
• 数据集详情

下载数据集并将其放在您的本地工作目录中，与您的 Python 文件相同的位置。

将其保存为文件名：

查看文件内容，您应该会看到类似以下内容的数据行：

现在您可以使用 NumPy 函数 loadtxt() 将文件加载为数字矩阵。

有八个输入变量和一个输出变量（最后一列）。您将学习一个模型来将输入变量（X）的行映射到输出变量（y），这通常概括为*y = f(X)*。

变量可总结如下：

输入变量（X）

1. 怀孕次数
2. 口服葡萄糖耐量测试 2 小时血浆葡萄糖浓度
3. 舒张压（毫米汞柱）
4. 肱三头肌皮褶厚度（毫米）
5. 2 小时血清胰岛素（微单位/毫升）
6. 体重指数（体重 kg / (身高 m)^2）
7. 糖尿病遗传函数
8. 年龄（岁）

输出变量（y）

1. 类别变量（0 或 1）

CSV 文件加载到内存后，您可以将数据列拆分为输入变量和输出变量。

数据将存储在二维数组中，其中第一个维度是行，第二个维度是列，例如：[行, 列]。

您可以使用标准的 NumPy 切片运算符或“:”来选择列的子集，将数组拆分为两个数组。您可以通过切片 0:8 选择从索引 0 到索引 7 的前八列。然后，您可以通过索引 8 选择输出列（第九个变量）。

现在您已准备好定义您的神经网络模型。

注意： 数据集有九列，范围 0:8 将选择从 0 到 7 的列，在索引 8 处停止。如果您对此不熟悉，可以在这篇帖子中了解更多关于数组切片和范围的知识。

• 如何为 Python 中的机器学习索引、切片和重塑 NumPy 数组

2. 定义 Keras 模型

Keras 中的模型定义为一系列层。

我们创建一个*Sequential 模型*，并逐一添加层，直到我们对网络架构满意为止。

首先要确保输入层具有正确的输入特征数。这可以在创建第一层时通过 input_shape 参数指定，并将其设置为 (8,)，表示将八个输入变量作为向量输入。

我们如何知道层的数量和类型？

这是一个棘手的问题。有一些启发式方法供您使用，而且通常最佳的网络结构是通过反复试验找到的（我在这里解释得更详细）。通常，您需要一个足够大的网络来捕捉问题的结构。

在此示例中，让我们使用一个具有三层的全连接网络结构。

全连接层使用 Dense 类定义。您可以将层中的神经元或节点数量指定为第一个参数，并使用 activation 参数指定激活函数。

此外，您将在前两层使用*整流线性单元激活函数*，在输出层使用 Sigmoid 函数。

过去，Sigmoid 和 Tanh 激活函数是所有层的首选。如今，使用 ReLU 激活函数可以获得更好的性能。在输出层使用 sigmoid 可以确保您的网络输出在 0 到 1 之间，并且可以轻松地映射到类别 1 的概率，或使用默认阈值 0.5 映射到类别 0 或 1 的硬分类。

您可以将它们组合起来，逐一添加层：

• 模型期望输入具有 8 个变量的行（input_shape=(8,) 参数）。
• 第一个隐藏层有 12 个节点，使用 relu 激活函数。
• 第二个隐藏层有 8 个节点，使用 relu 激活函数。
• 输出层有 1 个节点，使用 sigmoid 激活函数。

注意： 这里最令人困惑的是，模型输入的形状作为参数设置在第一个隐藏层上。这意味着添加第一个 Dense 层的代码行同时做了两件事：定义输入层（可见层）和第一个隐藏层。

3. 编译 Keras 模型

模型定义完成后，*您可以编译它*。

编译模型在后台使用高效的数值库（所谓的后端），如 Theano 或 TensorFlow。后端会自动选择表示网络以进行训练和进行预测的最佳方式，以在您的硬件（如 CPU、GPU 或分布式系统）上运行。

编译时，您必须指定一些在训练网络时必需的附加属性。请记住，训练网络意味着找到映射数据集中的输入到输出的最佳权重集。

您必须指定用于评估权重集的损失函数、用于搜索网络权重的优化器，以及在训练期间您希望收集和报告的任何可选指标。

在本例中，使用交叉熵作为 loss 参数。此损失适用于二元分类问题，在 Keras 中定义为“**binary_crossentropy**”。您可以在此处了解有关选择损失函数的更多信息：

• 训练深度学习神经网络时如何选择损失函数

我们将 optimizer 定义为高效的随机梯度下降算法“**adam**”。这是一种流行的梯度下降版本，因为它会自动调整自身，并在各种问题中都能取得良好的效果。要了解有关随机梯度下降的 Adam 版本的更多信息，请参阅以下帖子：

• 深度学习中 Adam 优化算法的温和介绍

最后，由于这是一个分类问题，您将通过 metrics 参数收集和报告分类准确率。

4. 拟合 Keras 模型

您已经定义了模型并对其进行了编译，为高效计算做好准备。

现在是时候在一些数据上执行模型了。

您可以通过在模型上调用 fit() 函数来训练或拟合模型。

训练过程会经过多个 epoch，每个 epoch 分成若干个 batch。

• Epoch：遍历训练数据集中的所有行一次
• Batch：在 epoch 中，模型在权重更新之前考虑的一个或多个样本

一个 epoch 包含一个或多个 batch，具体取决于选择的 batch 大小，并且模型会训练多个 epoch。有关 epoch 和 batch 之间区别的更多信息，请参阅以下帖子：

• 神经网络中批次和周期有什么区别？

您必须使用 epochs 参数指定训练过程将运行的 epoch（迭代）数量。您还必须设置在每个 epoch 中更新模型权重之前考虑的数据集行数，这称为 batch_size，并使用 batch_size 参数设置。

此问题将运行较少数量的 epoch（150 次），并使用相对较小的 batch_size（10）。

这些配置可以通过反复试验来选择。您希望模型训练足够长的时间，以便它能学习到输入数据行到输出分类的良好（或足够好）的映射。模型总会存在一些误差，但对于给定的模型配置，误差量会在某个点趋于平稳。这被称为模型收敛。

这是在您的 CPU 或 GPU 上进行工作的地方。

此示例不需要 GPU，但如果您有兴趣了解如何以低廉的云端成本在 GPU 硬件上运行大型模型，请参阅以下帖子：

• 如何设置 Amazon AWS EC2 GPU 来训练 Keras 深度学习模型

5. 评估 Keras 模型

我们已经在整个数据集上训练了神经网络，现在可以在相同数据集上评估网络的性能。

这只能让您了解您对数据集的建模程度（例如，训练准确率），但无法了解算法在未见过的数据上的表现如何。为简洁起见，这里这样处理，但理想情况下，您可以将数据分成训练集和测试集，用于训练和评估您的模型。

您可以使用 evaluate() 函数在训练数据集上评估您的模型，并将用于训练模型的相同输入和输出传递给它。

这将为每个输入和输出对生成一个预测，并收集分数，包括平均损失和您配置的任何指标，例如准确率。

evaluate() 函数将返回一个包含两个值的列表。第一个是模型在该数据集上的损失，第二个是模型在该数据集上的准确率。您只对报告准确率感兴趣，因此可以忽略损失值。

6. 整合所有内容

您刚刚了解了如何轻松创建您的第一个 Keras 神经网络模型。

让我们将所有内容整合到一个完整的代码示例中。

您可以将所有代码复制到您的 Python 文件中，并将其保存为“keras_first_network.py”，放在与数据文件“pima-indians-diabetes.csv”相同的目录中。然后，您可以从命令行（命令提示符）中像这样运行 Python 文件作为一个脚本：

运行此示例，您应该会看到关于 150 个 epoch 的消息，打印出损失和准确率，然后是训练好的模型在训练数据集上的最终评估。

在我的工作站上运行 CPU 版本大约需要 10 秒钟。

理想情况下，您希望损失降至零，准确率升至 1.0（即 100%）。对于任何非平凡的机器学习问题，这都是不可能实现的。相反，您的模型中总会存在一些误差。目标是选择一个模型配置和训练配置，为给定的数据集实现尽可能低的损失和最高的准确率。

注意：如果您尝试在 IPython 或 Jupyter notebook 中运行此示例，可能会遇到错误。

原因是训练期间的输出进度条。您可以轻松地通过在调用 fit() 和 evaluate() 函数时设置 verbose=0 来关闭它们；例如：

注意：您的结果可能因算法或评估程序的随机性、或数值精度差异而异。可以尝试运行几次示例并比较平均结果。

你得到了什么分数？
请在下方评论区发布你的结果。

神经网络是随机算法，这意味着相同的算法在相同的数据上每次运行时都可以训练出具有不同技能的模型。这是一个特性，而不是一个 bug。您可以在以下帖子中了解更多信息：

• 在机器学习中拥抱随机性

模型性能的差异意味着，为了合理地估算模型性能，您可能需要多次拟合模型并计算准确率分数的平均值。有关评估神经网络的这种方法，请参阅以下帖子：

• 如何评估深度学习模型的技能

例如，以下是运行该示例五次的准确率分数：

您可以看到，所有准确率分数都在 77% 左右，平均值为 76.924%。

7. 进行预测

我收到的头号问题是：

“训练完模型后，如何使用它来对新数据进行预测？”

很好的问题。

您可以改编上述示例，并使用它来对训练数据集生成预测，假装它是您未见过的新数据集。

进行预测就像在模型上调用 predict() 函数一样简单。您在输出层使用了 sigmoid 激活函数，因此预测将是 0 到 1 之间的概率。对于此分类任务，您可以轻松地将其转换为清晰的二元预测，方法是进行四舍五入。

例如

或者，您可以将概率转换为 0 或 1，直接预测清晰的类别；例如：

下面的完整示例对数据集中的每个示例进行预测，然后打印前五个示例的输入数据、预测类别和期望类别。

运行示例时不会显示进度条，因为 verbose 参数已设置为 0。

拟合模型后，会为数据集中的所有示例进行预测，并打印前五个示例的输入行和预测类别值，并与期望的类别值进行比较。

您可以看到大多数行都得到了正确预测。事实上，根据上一节对模型性能的估算，您可以预期约 76.9% 的行得到正确预测。

如果您想了解更多关于如何使用 Keras 模型进行预测的信息，请参阅以下帖子：

• 如何使用 Keras 进行预测

Keras 教程总结

在这篇文章中，您了解了如何使用强大的 Keras Python 深度学习库创建您的第一个神经网络模型。

具体来说，您学习了使用 Keras 创建神经网络或深度学习模型的六个关键步骤，包括：

1. 如何加载数据
2. 如何在 Keras 中定义神经网络
3. 如何使用高效的数值后端编译 Keras 模型
4. 如何训练模型
5. 如何评估模型
6. 如何使用模型进行预测

您对 Keras 或本教程有任何疑问吗？
请在评论中提问，我将尽力回答。

Keras 教程扩展

做得好，您已成功使用 Keras 深度学习库在 Python 中开发了您的第一个神经网络。

本节提供了一些您可能想探索的教程扩展。

• 调优模型。 更改模型或训练过程的配置，看看是否能提高模型性能，例如，达到高于 76% 的准确率。
• 保存模型。将教程更新为将模型保存到文件，然后稍后加载它并使用它进行预测（参见本教程）。
• 总结模型。更新教程以总结模型并创建模型层的图（参见本教程）。
• 分离训练和测试数据集。将加载的数据集分为训练集和测试集（基于行分割），然后使用一个集合来训练模型，另一个集合来估算模型在新数据上的性能。
• 绘制学习曲线。fit() 函数返回一个历史对象，总结了每个 epoch 结束时的损失和准确率。将这些数据绘制成折线图，称为学习曲线（参见本教程）。
• 学习新数据集。更新教程以使用不同的表格数据集，可能来自UCI 机器学习仓库。
• 使用函数式 API。更新教程以使用 Keras 函数式 API 来定义模型（参见本教程）。

进一步阅读

您是否正在寻找更多使用 Python 和 Keras 的深度学习教程？

可以看看这些：

相关教程

• Keras 中神经网络模型的 5 步生命周期
• 使用 Keras 深度学习库进行多类别分类教程
• 使用 Python 中 Keras 深度学习库的回归教程
• 如何在 Python 中使用 Keras 对深度学习模型进行超参数网格搜索

书籍

• Deep Learning（教科书），2016 年。
• Deep Learning with Python（我的书）。

API

• Keras 深度学习库主页
• Keras API 文档

您做得怎么样？您对深度学习有任何疑问吗？
请在下面的评论中提问，我会尽力提供帮助。