如何为 MNIST 手写数字分类开发 CNN

如何从头开始开发卷积神经网络以进行MNIST手写数字分类。

MNIST手写数字分类问题是计算机视觉和深度学习中使用的标准数据集。

尽管该数据集已经得到了有效的解决，但它可以用作学习和练习如何从头开始开发、评估和使用卷积深度学习神经网络进行图像分类的基础。这包括如何开发一个健壮的测试工具来估计模型性能，如何探索模型改进，以及如何保存模型并在稍后加载它以对新数据进行预测。

在本教程中，您将学习如何从头开始开发一个卷积神经网络来对手写数字进行分类。

完成本教程后，您将了解：

• 如何开发一个测试工具，以对模型进行稳健评估，并为分类任务建立性能基线。
• 如何探索基线模型的扩展以改进学习和模型容量。
• 如何开发一个最终模型，评估最终模型的性能，并使用它对新图像进行预测。

通过我的新书 《计算机视觉深度学习》 开启您的项目，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

• 更新于2019年12月：为TensorFlow 2.0和Keras 2.3更新了示例。
• 更新于2020年1月：修复了模型在交叉验证循环外部定义的错误。
• 更新于2021年11月：更新为使用TensorFlow 2.6

如何从头开始开发卷积神经网络以进行MNIST手写数字分类
照片由 Richard Allaway 拍摄，保留部分权利。

教程概述

本教程分为五个部分；它们是：

1. MNIST手写数字分类数据集
2. 模型评估方法
3. 如何开发基线模型
4. 如何开发改进模型
5. 如何完成模型并进行预测

开发环境

本教程假设您使用的是独立的Keras，运行在TensorFlow之上，使用Python 3。如果您需要有关设置开发环境的帮助，请参阅本教程

• 如何使用 Anaconda 配置您的 Python 机器学习环境

MNIST手写数字分类数据集

MNIST 数据集是修改后的美国国家标准与技术研究所数据集的缩写。

这是一个包含60,000个28x28像素的灰度手写数字（0到9）的微小正方形图像的数据集。

任务是将给定的手写数字图像分类到 10 个类别中的一个，这些类别代表从 0 到 9（包括 0 和 9）的整数值。

这是一个被广泛使用且深入理解的数据集，在很大程度上已经被“解决”了。表现最好的模型是深度学习卷积神经网络，在保留的测试数据集上可以达到99%以上的分类准确率，错误率在0.4%到0.2%之间。

下面的示例使用Keras API加载MNIST数据集，并绘制训练数据集中前九张图像的图。

运行该示例会加载MNIST的训练和测试数据集，并打印它们的形状。

我们可以看到训练数据集中有 60,000 个样本，测试数据集中有 10,000 个样本，并且图像确实是 28x28 像素的正方形。

还会创建数据集中前九张图像的图，展示了要分类图像的自然手写特征。

MNIST数据集图像子集的图

模型评估方法

尽管MNIST数据集已经得到了有效的解决，但它可以作为开发和实践使用卷积神经网络解决图像分类任务的方法论的一个有用的起点。

我们可以从头开始开发一个新模型，而不是回顾关于数据集上表现良好的模型的文献。

该数据集已经有一个定义好的训练集和测试集供我们使用。

为了估计模型在给定训练运行中的性能，我们可以将训练集进一步划分为训练集和验证集。然后可以绘制每个运行中模型在训练集和验证集上的性能，以提供学习曲线和对模型学习情况的洞察。

Keras API通过在训练模型时向`model.fit()`函数指定“validation_data”参数来支持这一点，该参数将返回一个对象，该对象描述了模型在每个训练时期在选定的损失和指标上的性能。

为了普遍估计模型在问题上的性能，我们可以使用k折交叉验证，可能是五折交叉验证。这将考虑模型在训练集和测试集差异方面的方差，以及学习算法的随机性。模型性能可以取为k折的平均性能，并给出标准差，如果需要，可以用来估计置信区间。

我们可以使用scikit-learn API中的KFold类来实现给定神经网络模型的k折交叉验证评估。有许多方法可以实现这一点，尽管我们可以选择一种灵活的方法，即仅使用`KFold`类来指定每个拆分的行索引。

我们将保留实际的测试数据集，并将其作为最终模型的评估。

如何开发基线模型

第一步是开发一个基线模型。

这是至关重要的，因为它既涉及开发测试工具的基础设施，以便我们设计的任何模型都能在数据集上进行评估，又通过模型在问题上的性能建立了基线，所有改进都可以与之进行比较。

测试工具的设计是模块化的，我们可以为每个部分开发一个单独的函数。这允许我们根据需要单独修改或替换测试工具的某个方面，而不影响其他部分。

我们可以用五个关键元素来开发这个测试工具。它们是数据集的加载、数据集的准备、模型的定义、模型的评估和结果的呈现。

加载数据集

我们对数据集有一些了解。

例如，我们知道图像都是预先对齐的（例如，每张图像只包含一个手绘数字），图像的大小都是相同的28x28像素正方形，并且图像是灰度的。

因此，我们可以加载图像并将数据数组重塑为具有单个颜色通道。

我们还知道有 10 个类别，并且这些类别表示为唯一的整数。

因此，我们可以对每个样本的类别元素使用one-hot编码，将整数转换为一个10个元素的二进制向量，其中类值索引为1，其他所有类为0。我们可以使用`to_categorical()`实用函数来实现这一点。

load_dataset() 函数实现了这些行为，可用于加载数据集。

准备像素数据

我们知道数据集中每张图像的像素值是在0到255之间的无符号整数，代表黑色到白色。

我们不知道如何最好地缩放像素值进行建模，但我们知道需要进行某种缩放。

一个好的起点是归一化灰度图像的像素值，例如将它们缩放到[0,1]的范围。这包括首先将数据类型从无符号整数转换为浮点数，然后将像素值除以最大值。

下面的`prep_pixels()`函数实现了这些行为，它接收需要缩放的训练集和测试集的像素值。

此函数必须在任何建模之前调用，以准备像素值。

定义模型

接下来，我们需要为该问题定义一个基线卷积神经网络模型。

该模型有两个主要方面：由卷积层和池化层组成的特征提取前端，以及将进行预测的分类器后端。

对于卷积前端，我们可以从一个带有较小滤波器尺寸（3,3）和适中滤波器数量（32）的卷积层开始，然后是一个最大池化层。然后可以将滤波器图展平，为分类器提供特征。

鉴于该问题是一个多类别分类任务，我们知道需要一个具有10个节点的输出层来预测图像属于这10个类别中每个类别的概率分布。这也将需要使用softmax激活函数。在特征提取器和输出层之间，我们可以添加一个全连接层来解释特征，这里使用100个节点。

所有层都将使用ReLU激活函数和He权重初始化方案，这两者都是最佳实践。

我们将使用一个保守的随机梯度下降优化器配置，学习率为0.01，动量为0.9。将优化分类交叉熵损失函数，这适用于多类别分类，我们将监控分类准确率指标，这在10个类别中示例数量相等的情况下是合适的。

下面的`define_model()`函数将定义并返回此模型。

评估模型

定义模型后，我们需要对其进行评估。

模型将使用五折交叉验证进行评估。选择k=5是为了提供重复评估的基线，并且不会因为运行时间过长而导致k值过大。每个测试集将占训练数据集的20%，或约12,000个示例，接近该问题实际测试集的大小。

在进行划分之前，训练数据集会被打乱，并且每次都会进行样本打乱，以便我们评估的任何模型在每个折叠中都具有相同的训练集和测试集，从而为模型之间的比较提供公平的基准。

我们将为基线模型训练10个训练周期，默认批大小为32个示例。每个折叠的测试集将用于在训练运行的每个周期中评估模型，以便我们以后可以创建学习曲线，并在运行结束时用于估计模型性能。因此，我们将跟踪每个运行产生的历史记录以及该折叠的分类准确率。

下面的`evaluate_model()`函数实现了这些行为，它将训练数据集作为参数，并返回可以稍后总结的准确率分数和训练历史列表。

5. 呈现结果

模型评估完成后，我们可以呈现结果。

需要呈现两个关键方面：模型在训练过程中的学习行为诊断和模型性能的估计。这些可以使用单独的函数来实现。

首先，诊断包括创建折线图，显示模型在k折交叉验证的每个折叠中在训练集和测试集上的性能。这些图对于了解模型是否过拟合、欠拟合或与数据集匹配良好非常有用。

我们将创建一个包含两个子图的图形，一个用于损失，一个用于准确率。蓝色线条表示模型在训练集上的性能，橙色线条表示在保留测试集上的性能。下面的`summarize_diagnostics()`函数根据收集的训练历史创建并显示此图。

接下来，可以通过计算均值和标准差来汇总每次交叉验证过程中收集到的分类准确率分数。这提供了对在该数据集上训练的模型平均预期性能的估计，并对均值的平均方差进行了估计。我们还将通过创建和显示箱须图来汇总分数的分布。

下面的 summarize_performance() 函数实现了给定模型评估期间收集的分数列表的此功能。

完整示例

我们需要一个函数来驱动测试工具。

这包括调用所有已定义的函数。

现在我们拥有了所需的一切；基准卷积神经网络模型在 MNIST 数据集上的完整代码示例列示如下。

运行示例会打印交叉验证过程中每次折叠的分类准确率。这有助于了解模型评估的进展情况。

注意：您的结果可能会有所不同，具体取决于算法或评估过程的随机性，或者数值精度的差异。考虑多次运行示例并比较平均结果。

我们可以看到模型在两种情况下达到了完美的技能，在一种情况下达到了低于 98% 的准确率。这些都是不错的结果。

接下来，将显示一个诊断图，从而深入了解模型在每次折叠中的学习行为。

在这种情况下，我们可以看到模型通常能获得良好的拟合，训练和测试学习曲线收敛。没有明显的过拟合或欠拟合迹象。

k 交叉验证期间基准模型损失和准确率学习曲线

接下来，将计算模型性能的摘要。

我们看到在这种情况下，模型的估计技能约为 98.6%，这是合理的。

最后，将创建箱须图来汇总准确率分数的分布。

使用 k 交叉验证评估的基准模型准确率分数的箱须图

现在我们有了一个健壮的测试框架和一个性能良好的基准模型。

如何开发改进模型

我们可以通过多种方式探索基准模型的改进。

我们将研究模型配置中通常会带来改进的领域，即所谓的“低垂的果实”。第一个是学习算法的更改，第二个是模型深度的增加。

学习的改进

学习算法的许多方面都可以进行探索以求改进。

也许最重要的杠杆点是学习率，例如评估更小或更大的学习率值的影响，以及在训练期间改变学习率的计划。

另一种可以快速加速模型学习并带来巨大性能改进的方法是批量归一化。我们将评估批量归一化对我们的基准模型的影响。

批量归一化可以在卷积层和全连接层之后使用。它具有改变层输出分布的效果，特别是通过标准化输出来实现。这有助于稳定和加速学习过程。

我们可以更新模型定义，在卷积层和密集层的激活函数后使用批量归一化。下面列出了带有批量归一化的 define_model() 函数的更新版本。

完整的代码列表（包括此更改）如下所示。

再次运行示例会报告交叉验证过程中每次折叠的模型性能。

注意：您的结果可能会有所不同，具体取决于算法或评估过程的随机性，或者数值精度的差异。考虑多次运行示例并比较平均结果。

我们可以看到，与基准模型相比，模型性能可能略有下降。

将创建学习曲线图，在此图中显示学习速度（每个 epoch 的改进）似乎与基准模型没有区别。

这些图表明，批量归一化（至少在此实现中）没有提供任何好处。

k 交叉验证期间 BatchNormalization 模型损失和准确率学习曲线

接下来，将展示模型的估计性能，显示模型平均准确率略有下降：与基准模型的 98.677 相比为 98.643。

使用 k 交叉验证评估的 BatchNormalization 模型准确率分数的箱须图

增加模型深度

有许多方法可以更改模型配置以探索基准模型的改进。

两种常见的方法是更改模型特征提取部分的容量，或更改模型分类器部分的容量或功能。也许影响最大的点是特征提取器的更改。

我们可以通过在 VGG 类模式下增加特征提取器部分的深度，即在保持滤波器尺寸相同的情况下，添加更多的卷积层和池化层，同时增加滤波器数量。在这种情况下，我们将添加一个双卷积层，每个层有 64 个滤波器，然后是另一个最大池化层。

下面列出了带有此更改的 define_model() 函数的更新版本。

为了完整起见，下面提供了包括此更改在内的整个代码列表。

运行示例会打印交叉验证过程中每次折叠的模型性能。

注意：您的结果可能会有所不同，具体取决于算法或评估过程的随机性，或者数值精度的差异。考虑多次运行示例并比较平均结果。

每次折叠的分数可能表明比基准模型有所改进。

将创建学习曲线图，在此图中，模型仍然很好地拟合了问题，没有明显的过拟合迹象。图表甚至可能表明进一步的训练 epoch 可能有用。

k 交叉验证期间更深层模型损失和准确率学习曲线

接下来，将展示模型的估计性能，与基准模型相比，性能略有提高，从 98.677 提高到 99.062，标准差也略有下降。

使用 k 交叉验证评估的更深层模型准确率分数的箱须图

如何完成模型并进行预测

只要我们有想法、时间和资源来测试它们，模型改进过程就可以继续下去。

最终必须选择并采用一个模型配置。在这种情况下，我们将选择更深层的模型作为我们的最终模型。

首先，我们将对整个训练数据集进行模型拟合，并将模型保存到文件以供将来使用。然后，我们将加载模型并评估其在保留测试数据集上的性能，以了解所选模型在实践中的实际表现。最后，我们将使用保存的模型对单个图像进行预测。

保存最终模型

最终模型通常拟合所有可用数据，例如所有训练和测试数据集的组合。

在此教程中，我们特意保留了一个测试数据集，以便我们可以估计最终模型的性能，这在实践中可能是一个好主意。因此，我们将仅在训练数据集上拟合模型。

拟合后，我们可以通过在模型上调用 *save()* 函数并传入所选文件名，将最终模型保存到 H5 文件中。

注意，保存和加载 Keras 模型要求在您的工作站上安装 h5py 库。

将在下面列出将最终深度模型拟合到训练数据集并将其保存到文件的完整示例。

运行此示例后，您的当前工作目录中将有一个名为“final_model.h5”的 1.2MB 文件。

评估最终模型

我们现在可以加载最终模型并在保留测试数据集上对其进行评估。

如果我们有兴趣向项目利益相关者展示所选模型的性能，我们可能会这样做。

模型可以通过 *load_model()* 函数加载。

下面列出了加载保存的模型并在测试数据集上对其进行评估的完整示例。

运行示例将加载保存的模型并在保留测试数据集上评估模型。

注意：您的结果可能会有所不同，具体取决于算法或评估过程的随机性，或者数值精度的差异。考虑多次运行示例并比较平均结果。

将计算并打印模型在测试数据集上的分类准确率。在此情况下，我们可以看到模型达到了 99.090% 的准确率，略低于 1%，这已经相当不错了，并且与估计的 99.753%（标准差约零点五个百分点，例如 99% 的分数）相当接近。

进行预测

我们可以使用保存的模型对新图像进行预测。

该模型假设新图像是灰度的，已经对齐，因此一张图像包含一个居中的手写数字，并且图像的大小是正方形的，尺寸为 28×28 像素。

下面是从 MNIST 测试数据集中提取的一张图像。您可以将其保存在当前工作目录中，文件名为“sample_image.png”。

Sample Handwritten Digit

• 下载样本图像 (sample_image.png)

我们将这张图像视为一个全新的、未见过的图像，并按照要求进行了准备，看看如何使用保存的模型来预测图像代表的整数（例如，我们期望是“7”）。

首先，我们可以加载图像，强制其为灰度格式，并强制其尺寸为 28×28 像素。然后可以调整加载的图像大小，使其具有单个通道并代表数据集中的单个样本。load_image() 函数实现了这一点，并将返回已加载的、准备好进行分类的图像。

重要的是，像素值的准备方式与拟合最终模型时训练数据集的像素值准备方式相同，在本例中为归一化。

接下来，我们可以像上一节一样加载模型，然后调用 predict() 函数来获取预测分数，然后使用 argmax() 来获得图像代表的数字。

完整的示例如下所示。