如何在 Keras 中使用 YOLOv3 进行对象检测

对象检测是计算机视觉中的一项任务，涉及识别给定照片中一个或多个对象的存在、位置和类型。

这是一个具有挑战性的问题，它需要建立在物体识别（例如，它们在哪里）、物体定位（例如，它们的范围是什么）和物体分类（例如，它们是什么）方法的基础上。

近年来，深度学习技术在对象检测方面取得了最先进的结果，例如在标准基准数据集和计算机视觉竞赛中。值得注意的是“You Only Look Once”或 YOLO 系列卷积神经网络，它们通过单一的端到端模型实现了接近最先进的结果，能够实时执行对象检测。

在本教程中，您将学习如何开发 YOLOv3 模型来检测新照片中的对象。

完成本教程后，您将了解：

• 用于对象检测的 YOLO 系列卷积神经网络模型，以及称为 YOLOv3 的最新变体。
• Keras 深度学习库 YOLOv3 的最佳开源库实现。
• 如何使用预训练的 YOLOv3 对新照片执行对象定位和检测。

通过我新书《计算机视觉深度学习》开启您的项目，其中包含分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 更新于 2019 年 10 月：已更新并针对 Keras 2.3.0 API 和 TensorFlow 2.0.0 进行了测试。

如何在 Keras 中使用 YOLOv3 进行对象检测
照片由 David Berkowitz 提供，部分权利保留。

教程概述

本教程分为三个部分；它们是：

1. YOLO 用于对象检测
2. Experiencor YOLO3 项目
3. 使用 YOLOv3 进行对象检测

YOLO 用于对象检测

对象检测是一项计算机视觉任务，它涉及在图像中定位一个或多个对象，并对图像中的每个对象进行分类。

这是一项具有挑战性的计算机视觉任务，它需要成功的对象定位（以定位并围绕图像中的每个对象绘制边界框）和对象分类（以预测被定位对象的正确类别）。

“You Only Look Once”（简称 YOLO）系列模型是由 Joseph Redmon 等人设计的、用于快速对象检测的端到端深度学习模型系列，首次在 2015 年的论文“You Only Look Once: Unified, Real-Time Object Detection”中进行了描述。

该方法涉及一个单一的深度卷积神经网络（最初是 GoogLeNet 的一个版本，后来更新并称为基于 VGG 的 DarkNet），它将输入分割成一个网格单元，每个单元直接预测一个边界框和对象分类。结果是大量的候选边界框，它们通过后处理步骤合并成最终预测。

截至撰写本文时，该方法有三个主要变体：YOLOv1、YOLOv2 和 YOLOv3。第一个版本提出了通用架构，而第二个版本优化了设计并使用了预定义的锚框来改进边界框提议，第三个版本进一步优化了模型架构和训练过程。

虽然这些模型的准确性接近但不如基于区域的卷积神经网络（R-CNNs），但它们因其检测速度而成为对象检测的热门选择，通常在视频或摄像头输入上实现实时检测。

单个神经网络通过一次评估即可直接从完整图像预测边界框和类别概率。由于整个检测管道是一个单一的网络，因此可以直接针对检测性能进行端到端优化。

— You Only Look Once: Unified, Real-Time Object Detection，2015。

在本教程中，我们将重点关注 YOLOv3 的使用。

Experiencor Keras-YOLO3 项目

YOLO 每个版本的源代码以及预训练模型均可用。

官方 DarkNet GitHub 存储库包含论文中提到的 YOLO 版本用 C 语言编写的源代码。该存储库提供了如何使用该代码进行对象检测的分步教程。

从头开始实现这个模型是一项挑战，尤其是对于初学者，因为它需要开发许多定制的模型元素来进行训练和预测。例如，即使直接使用预训练模型，也需要复杂的代码来提炼和解释模型预测的边界框。

与其从头开始开发此代码，不如使用第三方实现。有许多第三方实现旨在将 YOLO 与 Keras 结合使用，但没有一个是标准化并设计为用作库的。

The YAD2K project was a de facto standard for YOLOv2 and provided scripts to convert the pre-trained weights into Keras format, use the pre-trained model to make predictions, and provided the code required to distill interpret the predicted bounding boxes. Many other third-party developers have used this code as a starting point and updated it to support YOLOv3.

也许使用预训练 YOLO 模型最广泛使用的项目是名为“keras-yolo3: Training and Detecting Objects with YOLO3”（作者：Huynh Ngoc Anh 或 experiencor）。该项目的代码已根据宽松的 MIT 开源许可证提供。与 YAD2K 一样，它提供了用于加载和使用预训练 YOLO 模型以及用于在新数据集上开发 YOLOv3 模型的迁移学习的脚本。

他还有一个 keras-yolo2 项目，为 YOLOv2 提供了类似的 कोड 以及有关如何使用存储库中代码的详细教程。keras-yolo3 项目似乎是该项目的更新版本。

有趣的是，experiencor 使用该模型作为一些实验的基础，并在标准对象检测问题（如袋鼠数据集、浣熊数据集、红细胞检测等）上训练了 YOLOv3 的版本。他列出了模型性能，提供了模型权重供下载，并提供了模型行为的 YouTube 视频。例如

• 使用 YOLO 3 检测浣熊

在本教程中，我们将以 experiencor 的 keras-yolo3 项目为基础，在 Keras 中使用 YOLOv3 模型执行对象检测。

如果存储库发生更改或被移除（第三方开源项目可能会发生这种情况），我们提供了截至撰写本文时的代码分支。

使用 YOLOv3 进行对象检测

The keras-yolo3 project provides a lot of capability for using YOLOv3 models, including object detection, transfer learning, and training new models from scratch.

在本节中，我们将使用预训练模型对未见过的照片执行对象检测。此功能包含在存储库中的一个 Python 文件“yolo3_one_file_to_detect_them_all.py”中，该文件大约有 435 行。该脚本实际上是一个程序，它将使用预训练权重来准备模型，并使用该模型执行对象检测并输出一个模型。它还依赖于 OpenCV。

我们不直接使用这个程序，而是重用这个程序中的元素，并开发我们自己的脚本来首先准备和保存 Keras YOLOv3 模型，然后加载模型以对新照片进行预测。

创建和保存模型

第一步是下载预训练的模型权重。

这些权重是在 MSCOCO 数据集上使用 DarkNet 代码库训练的。下载模型权重并将它们放在当前工作目录中，文件名设置为“yolov3.weights”。这是一个大文件，下载时间可能需要一段时间，具体取决于您的互联网连接速度。

• YOLOv3 预训练模型权重 (yolov3.weights) (237 MB)

接下来，我们需要定义一个 Keras 模型，该模型具有与下载的模型权重相匹配的正确数量和类型的层。模型架构称为“DarkNet”，最初松散地基于 VGG-16 模型。

The “yolo3_one_file_to_detect_them_all.py” script provides the make_yolov3_model() function to create the model for us, and the helper function _conv_block() that is used to create blocks of layers. These two functions can be copied directly from the script.

现在我们可以定义 YOLOv3 的 Keras 模型。

接下来，我们需要加载模型权重。模型权重以 DarkNet 使用的任何格式存储。我们不是手动解码文件，而是可以使用脚本中提供的 WeightReader 类。

要使用 WeightReader，需要使用权重文件的路径（例如，‘yolov3.weights’）对其进行实例化。这将解析文件并将模型权重加载到内存中，然后我们可以将其设置到我们的 Keras 模型中。

然后，我们可以调用 WeightReader 实例的 load_weights() 函数，传入我们定义的 Keras 模型以将权重设置到层中。

就是这样，我们现在有了一个可用的 YOLOv3 模型。

我们可以将此模型保存到 Keras 兼容的 .h5 模型文件中，以便将来使用。

我们可以将所有这些内容整合在一起；完整的代码示例，包括直接从“yolo3_one_file_to_detect_them_all.py”脚本复制的函数，如下所示：

运行此示例在现代硬件上执行可能需要不到一分钟的时间。

在加载权重时，您将看到有关加载内容的调试信息，由WeightReader类输出。

在运行结束时，model.h5文件将保存在您的当前工作目录中，其大小与原始权重文件（237MB）大致相同，但已准备好直接加载和使用为Keras模型。

进行预测

我们需要一张新的照片来进行对象检测，最好是模型已知的来自MSCOCO数据集的对象。

我们将使用一张由Boegh在一次狩猎中拍摄的三个斑马的照片，并以宽松的许可发布。

三个斑马的照片
由Boegh拍摄，部分权利保留。

• 三个斑马的照片（zebra.jpg）

下载照片并将其命名为‘zebra.jpg‘，然后将其放在您的当前工作目录中。

进行预测很简单，但解释预测需要一些工作。

第一步是加载Keras模型。这可能是进行预测中最慢的部分。

接下来，我们需要加载我们的新照片并将其准备成适合模型的输入。模型期望输入是彩色图像，分辨率为416×416像素。

我们可以使用Keras函数load_img()来加载图像，并使用target_size参数在加载后调整图像大小。我们还可以使用img_to_array()函数将加载的PIL图像对象转换为NumPy数组，然后将像素值从0-255缩放到0-1的32位浮点值。

稍后我们还需要再次显示原始照片，这意味着我们需要将所有检测到的对象的边界框从正方形形状缩放到原始形状。因此，我们可以加载图像并获取原始形状。

我们可以将所有这些内容整合到一个名为load_image_pixels()的便利函数中，该函数接受文件名和目标大小，并返回已缩放的像素数据，以便作为Keras模型的输入，以及图像的原始宽度和高度。

然后，我们可以调用此函数来加载我们的斑马照片。

现在，我们可以将照片输入Keras模型并进行预测。

好了，至少在进行预测方面是这样。完整的示例将在下面列出。

运行此示例将返回一个包含三个NumPy数组的列表，其形状将显示为输出。

这些数组预测边界框和类别标签，但它们是经过编码的。必须对其进行解释。

进行预测并解释结果

模型的输出实际上是来自三种不同网格尺寸的编码候选边界框，边界框是根据对MSCOCO数据集对象大小的分析仔细选择的锚框的上下文定义的。

experiencor提供的脚本提供了一个名为decode_netout()的函数，该函数将逐个接收NumPy数组，并解码候选边界框和类别预测。此外，任何不能确信地描述对象的边界框（例如，所有类别概率都低于阈值）都会被忽略。我们将使用60%或0.6的概率。该函数返回一个BoundBox实例列表，这些实例定义了每个边界框在输入图像形状和类别概率的上下文中的角点。

接下来，可以将边界框拉伸回原始图像的形状。这很有帮助，因为它意味着我们之后可以绘制原始图像并绘制边界框，希望能检测到真实的对象。

experiencor脚本提供了correct_yolo_boxes()函数来执行边界框坐标的这种转换，该函数将边界框列表、加载照片的原始形状以及网络的输入形状作为参数。边界框的坐标会直接更新。

模型预测了很多候选边界框，其中大部分框将指向相同的对象。边界框列表可以进行过滤，那些重叠并指向同一对象的框可以合并。我们可以将重叠量定义为一个配置参数，在这种情况下是50%或0.5。这种边界框区域的过滤通常称为非极大值抑制，是一个必需的后处理步骤。

experiencor脚本通过do_nms()函数提供此功能，该函数接受边界框列表和阈值参数。它不是清除重叠框，而是清除它们对重叠类别的预测概率。这允许框保留并用于它们也检测到其他对象类型的情况。

这将使我们拥有的框数量不变，但只有很少的框是我们感兴趣的。我们可以检索那些强烈预测对象存在的框：即置信度超过60%的框。这可以通过枚举所有框并检查类别预测值来实现。然后，我们可以查找框对应的类别标签，并将其添加到列表中。每个框都必须针对每个类别标签进行考虑，以防同一个框强烈预测多个对象。

我们可以开发一个get_boxes()函数来实现这一点，该函数将框列表、已知标签和我们的分类阈值作为参数，并返回框、标签和分数的并行列表。

我们可以调用此函数来处理我们的框列表。

我们还需要一个字符串列表，其中包含模型已知的类别标签，以及训练期间使用的正确顺序，特别是来自MSCOCO数据集的那些类别标签。幸运的是，这在experiencor脚本中提供了。

现在我们有了使用YOLOv3模型进行预测、解释结果并绘制它们以供审查所需的所有元素。

我们还可以绘制原始照片并围绕每个检测到的对象绘制边界框。这可以通过从每个边界框中检索坐标并创建Rectangle对象来实现。

我们还可以绘制带有类别标签和置信度的字符串。

下面的draw_boxes()函数实现了这一点，它接受原始照片的文件名以及边界框、标签和分数的并行列表，并创建一个显示所有检测到的对象的图。

然后，我们可以调用此函数来绘制我们的最终结果。

现在我们拥有了使用YOLOv3模型进行预测、解释结果并绘制它们以供审查所需的所有元素。

完整的代码列表，包括从experiencor脚本中获取的原始和修改后的函数，为求完整性列在下面。