如何使用预训练的 VGG 模型对照片中的对象进行分类

卷积神经网络现在在某些计算机视觉任务（例如图像分类）中能够超越人类的表现。

也就是说，给定一张物体的照片，回答这张照片显示的是1000个特定物体中的哪一个。

牛津大学研究人员开发的VGG模型是这项任务中赢得比赛的模型。这个模型除了能够对照片中的物体进行分类之外，其重要性在于模型权重是免费提供的，可以加载并用于您自己的模型和应用程序。

在本教程中，您将了解用于图像分类的VGG卷积神经网络模型。

完成本教程后，您将了解：

• 关于ImageNet数据集和竞赛以及VGG获胜模型。
• 如何在Keras中加载VGG模型并总结其结构。
• 如何使用加载的VGG模型对即时照片中的物体进行分类。

我的新书《使用Python进行深度学习》将助您启动项目，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

教程概述

本教程分为4个部分，它们是：

1. ImageNet
2. 牛津VGG模型
3. 在Keras中加载VGG模型
4. 开发一个简单的照片分类器

ImageNet

ImageNet是一个研究项目，旨在开发一个包含标注（例如图像及其描述）的大型图像数据库。

自2010年以来，这些图像及其标注一直是名为ImageNet大规模视觉识别挑战赛（ILSVRC）的图像分类挑战的基础。结果是，研究机构在预定义的数据集上进行竞争，以找出谁拥有最佳的图像物体分类模型。

ImageNet大规模视觉识别挑战赛是在数百个物体类别和数百万张图像上进行物体类别分类和检测的基准。这项挑战自2010年至今每年举办一次，吸引了五十多个机构的参与。

——ImageNet 大规模视觉识别挑战赛，2015。

对于分类任务，图像必须被分类到1000个不同类别中的一个。

过去几年，非常深的卷积神经网络模型被用于赢得这些挑战，并且任务结果已经超越了人类的表现。

ILSVRC挑战赛中使用的ImageNet数据集中的图像样本
摘自“ImageNet大规模视觉识别挑战赛”，2015年。

牛津VGG模型

来自牛津视觉几何组（简称VGG）的研究人员参加了ILSVRC挑战赛。

2014年，VGG开发的卷积神经网络模型（CNN）赢得了图像分类任务。

2014年ILSVRC分类任务结果

比赛结束后，参与者在论文中撰写了他们的发现

• 用于大规模图像识别的超深度卷积网络, 2014.

他们还将其模型和学习到的权重在线提供。

这使得其他研究人员和开发人员能够在自己的工作和程序中使用最先进的图像分类模型。

这有助于推动一系列迁移学习工作，其中预训练模型经过少量修改后用于全新的预测建模任务，从而利用经过验证模型的最先进的特征提取能力。

……我们提出了显著更准确的ConvNet架构，它们不仅在ILSVRC分类和定位任务上达到了最先进的准确性，而且也适用于其他图像识别数据集，即使作为相对简单的管道（例如，由线性SVM分类的深度特征，无需微调）的一部分，它们也取得了出色的性能。我们已经发布了我们两个表现最佳的模型，以促进进一步研究。

— 用于大规模图像识别的非常深层卷积网络，2014年。

VGG发布了两种不同的CNN模型，分别是16层模型和19层模型。

有关这些模型的完整详细信息，请参阅论文。

VGG模型不再是最先进的，只差几个百分点。尽管如此，它们是非常强大的模型，既可以作为图像分类器，也可以作为使用图像输入的新模型的基础。

在下一节中，我们将看到如何在Keras中直接使用VGG模型。

在Keras中加载VGG模型

VGG模型可以在Keras深度学习库中加载和使用。

Keras提供了一个应用程序接口，用于加载和使用预训练模型。

使用此接口，您可以使用牛津团队提供的预训练权重创建VGG模型，并将其作为自己模型的起点，或直接将其用作分类图像的模型。

在本教程中，我们将重点介绍使用VGG模型对新图像进行分类的用例。

Keras通过VGG16和VGG19类提供16层和19层版本。让我们重点关注VGG16模型。

该模型可以按如下方式创建：

就是这样。

首次运行此示例时，Keras将从互联网下载权重文件并将其存储在 ~/.keras/models 目录中。

注意，权重大约为528兆字节，因此下载可能需要几分钟，具体取决于您的互联网连接速度。

权重只会下载一次。下次运行示例时，权重将从本地加载，模型应在几秒钟内准备好使用。

我们可以使用标准的Keras工具检查模型结构。

例如，您可以按如下方式打印网络层的摘要：

您可以看到模型非常庞大。

您还可以看到，默认情况下，模型期望的输入图像大小为224 x 224像素，具有3个通道（例如彩色）。

我们还可以按如下方式创建VGG模型中各层的图：

同样，由于模型很大，图也太大了，可能难以阅读。尽管如此，它还是在下面提供了。

VGG模型层图

VGG() 类接受一些参数，如果您希望在自己的项目中使用模型（例如，进行迁移学习），这些参数可能会引起您的兴趣。

例如

• include_top (True)：是否包含模型的输出层。如果您在自己的问题上拟合模型，则不需要这些层。
• weights (‘imagenet‘)：要加载的权重。如果您有兴趣从头开始训练模型，可以指定None以不加载预训练权重。
• input_tensor (None)：如果您打算在新尺寸的不同数据上拟合模型，则这是一个新的输入层。
• input_shape (None)：如果您更改输入层，模型预期接受的图像大小。
• pooling (None)：当您训练一组新的输出层时要使用的池化类型。
• classes (1000)：模型的类别数量（例如输出向量的大小）。

接下来，让我们看看如何使用加载的VGG模型对即时照片进行分类。

开发一个简单的照片分类器

让我们开发一个简单的图像分类脚本。

1. 获取示例图像

首先，我们需要一张可以分类的图像。

您可以从Flickr此处下载一张随机的咖啡杯照片。

咖啡杯
照片作者：jfanaian，保留部分权利。

下载图像并将其保存到您的当前工作目录，文件名为“ mug.jpg ”。

2. 加载VGG模型

加载VGG-16模型的权重，如上一节所述。

3. 加载和准备图像

接下来，我们可以将图像作为像素数据加载，并准备好将其呈现给网络。

Keras提供了一些工具来帮助完成此步骤。

首先，我们可以使用 load_img() 函数加载图像并将其调整为所需的224×224像素大小。

接下来，我们可以将像素转换为NumPy数组，以便在Keras中使用它。我们可以使用 img_to_array() 函数来完成此操作。

网络期望输入一个或多个图像；这意味着输入数组需要是4维的：样本、行、列和通道。

我们只有一个样本（一张图像）。我们可以通过调用 reshape() 并添加额外维度来重塑数组。

接下来，图像像素需要以与ImageNet训练数据相同的方式进行准备。具体来说，根据论文：

我们唯一做的预处理是从每个像素中减去在训练集上计算的平均RGB值。

— 用于大规模图像识别的非常深层卷积网络，2014年。

Keras提供了一个名为 preprocess_input() 的函数来为网络准备新输入。

我们现在已经准备好对加载和准备好的图像进行预测。

4. 进行预测

我们可以调用模型上的 predict() 函数，以获取图像属于1000种已知物体类型中每一种的概率预测。

差不多了，现在我们需要解释这些概率。

5. 解释预测

Keras提供了一个名为 decode_predictions() 的函数来解释这些概率。

它可以返回一个类别列表及其概率，以防您想展示照片中可能存在的排名前3的物体。

我们将只报告第一个最有可能的物体。

就是这样。

完整示例

将所有这些联系起来，完整的示例如下所示：

运行示例后，我们可以看到图像被正确分类为“ 咖啡杯 ”，可能性为75%。

扩展

本节列出了一些您可能希望探索的扩展本教程的想法。

• 创建函数。更新示例并添加一个函数，该函数在给定图像文件名和已加载模型的情况下，将返回分类结果。
• 命令行工具。更新示例，使其在命令行上给定图像文件名时，程序将报告图像的分类。
• 报告多个类别。更新示例以报告给定图像的前5个最可能的类别及其概率。

进一步阅读

如果您想深入了解此主题，本节提供了更多资源。

• ImageNet
• 维基百科上的ImageNet
• 用于大规模图像识别的超深度卷积网络, 2015.
• 用于大规模视觉识别的非常深层卷积网络，牛津大学。
• 使用极少量数据构建强大的图像分类模型, 2016.
• Keras 应用程序 API
• Keras权重文件

总结

在本教程中，您了解了用于图像分类的VGG卷积神经网络模型。

具体来说，你学到了：

• 关于ImageNet数据集和竞赛以及VGG获胜模型。
• 如何在Keras中加载VGG模型并总结其结构。
• 如何使用加载的VGG模型对即时照片中的物体进行分类。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。