如何在 Keras 中使用 Mask R-CNN 进行照片中的目标检测

目标检测是计算机视觉中的一项任务，它涉及识别给定照片中一个或多个物体的存在、位置和类型。

这是一个具有挑战性的问题，它需要建立在物体识别（例如，它们在哪里）、物体定位（例如，它们的范围是什么）和物体分类（例如，它们是什么）方法的基础上。

近年来，深度学习技术在目标检测方面取得了最先进的成果，例如在标准基准数据集和计算机视觉竞赛中。其中最著名的是 R-CNN（基于区域的卷积神经网络），以及最新的技术 Mask R-CNN，它能够在各种目标检测任务中取得最先进的成果。

在本教程中，您将学习如何使用 Mask R-CNN 模型检测新照片中的物体。

完成本教程后，您将了解：

• 基于区域的卷积神经网络家族模型用于目标检测以及最新变体 Mask R-CNN。
• Keras 深度学习库中 Mask R-CNN 的最佳开源库实现。
• 如何使用预训练的 Mask R-CNN 对新照片执行目标定位和检测。

通过我的新书《计算机视觉深度学习》来启动您的项目，其中包括分步教程以及所有示例的 Python 源代码文件。

让我们开始吧。

如何在 Keras 中使用 Mask R-CNN 对照片进行目标检测
图片由 Ole Husby 拍摄，保留部分权利。

教程概述

本教程分为三个部分；它们是：

1. R-CNN 和 Mask R-CNN
2. Matterport Mask R-CNN 项目
3. 使用 Mask R-CNN 进行目标检测

注意：本教程需要 TensorFlow 1.15.3 和 Keras 2.2.4 版本。它不适用于 TensorFlow 2.0+ 或 Keras 2.2.5+，因为在撰写本文时，第三方库尚未更新。

您可以按如下方式安装这些特定版本的库：

用于目标检测的 Mask R-CNN

目标检测是一项计算机视觉任务，它涉及在一个图像中定位一个或多个物体，并对图像中的每个物体进行分类。

这是一项具有挑战性的计算机视觉任务，它需要成功地进行目标定位，以便在图像中的每个物体周围定位并绘制一个边界框，以及进行目标分类，以预测所定位物体的正确类别。

目标检测的一个扩展涉及标记图像中属于每个检测到的物体的特定像素，而不是在目标定位期间使用粗略的边界框。这个更难的问题通常被称为物体分割或语义分割。

基于区域的卷积神经网络（R-CNN）是由 Ross Girshick 等人开发的一系列用于目标检测的卷积神经网络模型。

该方法大概有四种主要变体，最终发展为当前的巅峰 Mask R-CNN。每种变体的显著特征可以总结如下：

• R-CNN：“选择性搜索”算法提出边界框，每个边界框都会被拉伸，并通过深度卷积神经网络（例如 AlexNet）提取特征，最后使用线性 SVM 进行最终的对象分类。
• Fast R-CNN：设计简化，采用单一模型，边界框仍作为输入指定，但在深度 CNN 之后使用区域兴趣池化层来整合区域，模型直接预测类别标签和感兴趣区域。
• Faster R-CNN：增加了区域提议网络，该网络解释从深度 CNN 中提取的特征并学习直接提议感兴趣区域。
• Mask R-CNN：Faster R-CNN 的扩展，增加了一个输出模型，用于预测每个检测到的物体的掩码。

Mask R-CNN 模型在 2018 年发表的题为《Mask R-CNN》的论文中提出，是该系列模型中最新的变体，支持目标检测和物体分割。该论文对当时的模型谱系进行了很好的总结：

基于区域的 CNN (R-CNN) 边界框目标检测方法是关注数量可控的候选目标区域，并独立地在每个感兴趣区域上评估卷积网络。R-CNN 得到扩展，允许使用 RoIPool 在特征图上关注感兴趣区域，从而实现更快的速度和更高的准确性。Faster R-CNN 通过使用区域提议网络 (RPN) 学习注意力机制来推进这一流派。Faster R-CNN 具有灵活性和鲁棒性，适用于许多后续改进，是目前在多项基准测试中领先的框架。

— Mask R-CNN, 2018。

该系列方法可能是目标检测中最有效的方法之一，在计算机视觉基准数据集上取得了当时最先进的成果。尽管准确，但与 YOLO 等替代模型相比，这些模型在进行预测时速度较慢，YOLO 可能不太准确，但专为实时预测而设计。

Matterport Mask R-CNN 项目

Mask R-CNN 是一个复杂的模型，尤其与简单甚至最先进的深度卷积神经网络模型相比。

R-CNN 模型的每个版本都提供了源代码，这些源代码在单独的 GitHub 存储库中提供，原型模型基于 Caffe 深度学习框架。例如：

• R-CNN：带有卷积神经网络特征的区域，GitHub.
• Fast R-CNN，GitHub.
• Faster R-CNN Python 代码，GitHub.
• Detectron，Facebook AI，GitHub.

与其从头开始开发 R-CNN 或 Mask R-CNN 模型的实现，不如使用基于 Keras 深度学习框架构建的可靠第三方实现。

Mask R-CNN 的最佳第三方实现是 Mask R-CNN 项目，由 Matterport 开发。该项目以宽松许可证（即 MIT 许可证）开源发布，代码已广泛用于各种项目和 Kaggle 竞赛。

然而，它是一个开源项目，受项目开发人员的意愿影响。因此，我提供了一个该项目的分支，以防将来 API 发生重大更改。

该项目 API 文档较少，但它以 Python Notebook 的形式提供了许多示例，您可以通过示例了解如何使用该库。以下两个 Notebook 可能有助于查阅：

• Mask R-CNN 演示，Notebook.
• Mask R-CNN – 检查训练模型，Notebook.

使用 Matterport 库使用 Mask R-CNN 模型主要有三种用例；它们是：

• 目标检测应用：使用预训练模型对新图像进行目标检测。
• 通过迁移学习创建新模型：使用预训练模型作为起点，为新的目标检测数据集开发模型。
• 从头开始创建新模型：为目标检测数据集从头开始开发新模型。

为了熟悉模型和库，我们将在下一节中查看第一个示例。

使用 Mask R-CNN 进行目标检测

在本节中，我们将使用 Matterport Mask R-CNN 库对任意照片执行目标检测。

就像使用预训练的深度 CNN 进行图像分类一样，例如 VGG-16 在 ImageNet 数据集上训练，我们可以使用预训练的 Mask R-CNN 模型检测新照片中的物体。在这种情况下，我们将使用在 MS COCO 目标检测问题上训练的 Mask R-CNN。

Mask R-CNN 安装

第一步是安装库。

在撰写本文时，该库没有分布式版本，因此我们必须手动安装。好消息是这非常容易。

安装涉及克隆 GitHub 存储库并在您的工作站上运行安装脚本。如果您遇到问题，请参阅库自述文件中的安装说明。

步骤 1. 克隆 Mask R-CNN GitHub 存储库

这就像在命令行中运行以下命令一样简单：

这将创建一个名为 Mask_RCNN 的新本地目录，其结构如下：

步骤 2. 安装 Mask R-CNN 库

该库可以直接通过 pip 安装。

进入 Mask_RCNN 目录并运行安装脚本。

在命令行中，输入以下内容：

在 Linux 或 MacOS 上，您可能需要使用 sudo 权限安装软件；例如，您可能会看到如下错误：

在这种情况下，请使用 sudo 安装软件：

该库将直接安装，您将看到许多成功的安装消息，最后显示如下内容：

这确认您已成功安装该库，并且拥有最新版本，在撰写本文时是 2.1 版本。

步骤 3：确认库已安装

始终最好确认库已正确安装。

您可以通过 pip 命令查询来确认库是否正确安装；例如：

您应该会看到输出，告知您版本和安装位置；例如：

我们现在可以开始使用该库了。

目标定位示例

我们将使用预训练的 Mask R-CNN 模型在新照片中检测物体。

步骤 1. 下载模型权重

首先，下载预训练模型的权重，特别是针对 MS Coco 数据集训练的 Mask R-CNN 模型。

权重可从项目 GitHub 项目中获取，文件大小约为 250 兆字节。将模型权重下载到当前工作目录中名为“mask_rcnn_coco.h5”的文件。

• 下载权重（mask_rcnn_coco.h5）（246 兆字节）

步骤 2. 下载示例照片

我们还需要一张用于检测物体的照片。

我们将使用一张在宽松许可证下发布的 Flickr 照片，具体是 Mandy Goldberg 拍摄的大象照片。

将照片下载到当前工作目录，文件名为“elephant.jpg”。

大象 (elephant.jpg)
由 Mandy Goldberg 拍摄，保留部分权利。

• 下载照片 (elephant.jpg)

步骤 3. 加载模型并进行预测

首先，必须通过 MaskRCNN 类的实例来定义模型。

此类别需要一个配置对象作为参数。配置对象定义了模型在训练或推理期间如何使用。

在这种情况下，配置将只指定每批图像的数量（为 1）和要预测的类别数量。

您可以在 config.py 文件中查看配置对象的完整范围以及您可以覆盖的属性。

我们现在可以定义 MaskRCNN 实例。

我们将模型定义为“推理”类型，表示我们关注的是进行预测而不是训练。我们还必须指定一个目录来写入任何日志消息，在这种情况下，该目录将是当前工作目录。

下一步是加载我们下载的权重。

现在我们可以对图像进行预测。首先，我们可以加载图像并将其转换为 NumPy 数组。

然后我们可以用模型进行预测。我们不会像在普通 Keras 模型上那样调用 predict()，而是会调用 detect() 函数并将单个图像传递给它。

结果包含我们传递给 detect() 函数的每个图像的字典，在这种情况下，是单个图像的单个字典列表。

该字典包含用于边界框、掩码等的键，每个键指向图像中检测到的多个可能对象的列表。

值得注意的字典键如下：

• “rois”：检测到的对象的边界框或感兴趣区域 (ROI)。
• “masks”：检测到的对象的掩码。
• “class_ids”：检测到的对象的类别整数。
• “scores”：每个预测类别的概率或置信度。

我们可以通过首先获取第一个图像的字典（例如 results[0]），然后检索边界框列表（例如 [‘rois’]）来绘制图像中检测到的每个框。

每个边界框都通过图像中边界框的左下角和右上角坐标来定义

我们可以使用这些坐标从 matplotlib API 创建一个 Rectangle()，并在图像顶部绘制每个矩形。

为了保持整洁，我们可以创建一个函数来执行此操作，该函数将接收照片的文件名和要绘制的边界框列表，并显示带有框的照片。

现在我们可以将所有这些结合起来，加载预训练模型，并用它来检测大象照片中的物体，然后绘制带有所有检测到的物体的照片。

完整的示例如下所示。

运行此示例将加载模型并执行目标检测。更准确地说，我们执行了目标定位，只在检测到的物体周围绘制了边界框。

在这种情况下，我们可以看到模型已正确地定位了照片中的单个物体，即大象，并在其周围绘制了一个红色框。

带有所有物体定位边界框的大象照片

目标检测示例

现在我们知道如何加载模型并使用它进行预测，让我们更新示例以执行真正的目标检测。

也就是说，除了定位物体之外，我们还想知道它们是什么。

Mask_RCNN API 提供了一个名为 display_instances() 的函数，该函数将接收加载图像的像素值数组和预测字典的各个方面（例如边界框、分数和类别标签），并将绘制带有所有这些注释的照片。

其中一个参数是预测类别标识符列表，该列表位于字典的“class_ids”键中。该函数还需要一个从 ID 到类别标签的映射。预训练模型使用包含 80 个（包括背景共 81 个）类别标签的数据集进行拟合，这些标签以列表形式在Mask R-CNN 演示，Notebook 教程中提供，如下所示。

然后我们可以将大象照片的预测详情提供给 display_instances() 函数；例如：

display_instances() 函数非常灵活，允许您只绘制掩码或只绘制边界框。您可以在 visualize.py 源文件中了解有关此函数的更多信息。

下面列出了使用 display_instances() 函数进行此更改的完整示例。

运行示例显示了大象的照片以及 Mask R-CNN 模型预测的注释，具体如下：

• 边界框。每个检测到的对象周围的虚线边界框。
• 类标签。分配给每个检测到的对象的类标签，写在边界框的左上角。
• 预测置信度。每个检测到的对象的类标签预测置信度，写在边界框的左上角。
• 对象掩码轮廓。每个检测到的对象掩码的多边形轮廓。
• 对象掩码。每个检测到的对象掩码的多边形填充。

结果非常令人印象深刻，并激发了许多关于这种强大的预训练模型如何在实践中使用的想法。

带有边界框和掩码检测到所有对象的大象照片

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

论文

• 用于精确目标检测和语义分割的丰富特征层次结构, 2013.
• 用于视觉识别的深度卷积网络中的空间金字塔池化, 2014.
• 快速R-CNN, 2015.
• Faster R-CNN：迈向实时目标检测，采用区域提议网络, 2016.
• Mask R-CNN, 2017.

API

• matplotlib.patches.Rectangle API

资源

• Mask R-CNN，GitHub.
• Mask R-CNN 演示，Notebook.
• Mask R-CNN – 检查训练模型，Notebook.

R-CNN 代码仓库

• R-CNN：带有卷积神经网络特征的区域，GitHub.
• Fast R-CNN，GitHub.
• Faster R-CNN Python 代码，GitHub.
• Detectron，Facebook AI，GitHub.

总结

在本教程中，您学习了如何使用 Mask R-CNN 模型检测新照片中的对象。

具体来说，你学到了：

• 基于区域的卷积神经网络家族模型用于目标检测以及最新变体 Mask R-CNN。
• Keras 深度学习库中 Mask R-CNN 的最佳开源库实现。
• 如何使用预训练的 Mask R-CNN 对新照片执行目标定位和检测。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发用于视觉的深度学习模型！

在几分钟内开发您自己的视觉模型

...只需几行python代码

在我的新电子书中探索如何实现
用于计算机视觉的深度学习

它提供关于以下主题的自学教程：
分类、物体检测（YOLO和R-CNN）、人脸识别（VGGFace和FaceNet）、数据准备等等……

最终将深度学习引入您的视觉项目

跳过学术理论。只看结果。

查看内容