深度学习对象识别温和介绍

对于初学者来说，区分不同的相关计算机视觉任务可能具有挑战性。

例如，图像分类很简单，但对象定位和对象检测之间的区别可能令人困惑，尤其是当这三项任务都被同样地称为对象识别时。

图像分类涉及为图像分配一个类别标签，而对象定位涉及在图像中的一个或多个对象周围绘制一个边界框。对象检测更具挑战性，它结合了这两个任务，并在图像中每个感兴趣的对象周围绘制一个边界框，并为它们分配一个类别标签。总而言之，所有这些问题都称为对象识别。

在这篇文章中，您将了解对象识别问题以及旨在解决该问题的最先进深度学习模型的温和介绍。

阅读本文后，你将了解：

• 对象识别是指用于识别数字照片中对象的一系列相关任务。
• 基于区域的卷积神经网络（R-CNN）是一系列解决对象定位和识别任务的技术，旨在提高模型性能。
• You Only Look Once（YOLO）是第二系列对象识别技术，旨在提高速度和实现实时使用。

通过我的新书《计算机视觉深度学习》来启动您的项目，其中包括所有示例的分步教程和Python 源代码文件。

让我们开始吧。

深度学习对象识别温和介绍
照片由Bart Everson拍摄，保留部分权利。

概述

本教程分为三个部分；它们是：

1. 什么是对象识别？
2. R-CNN 模型家族
3. YOLO 模型家族

什么是对象识别？

对象识别是一个通用术语，用于描述一系列相关的计算机视觉任务，涉及识别数字照片中的对象。

图像分类涉及预测图像中一个对象的类别。对象定位是指识别图像中一个或多个对象的位置并在其范围周围绘制一个边界框。对象检测结合了这两个任务，并在图像中定位和分类一个或多个对象。

当用户或从业者提及“对象识别”时，他们通常指的是“对象检测”。

……我们将广泛使用对象识别一词，既包括图像分类（需要算法确定图像中存在哪些对象类别的任务），也包括对象检测（需要算法定位图像中存在的所有对象的任务）

——ImageNet 大规模视觉识别挑战赛，2015。

因此，我们可以区分这三项计算机视觉任务

• 图像分类：预测图像中对象的类型或类别。
  • 输入：带有一个对象的图像，例如照片。
  • 输出：一个类别标签（例如，一个或多个整数，映射到类别标签）。
• 对象定位：在图像中定位对象的存在，并用边界框指示其位置。
  • 输入：带有一个或多个对象的图像，例如照片。
  • 输出：一个或多个边界框（例如，由一个点、宽度和高度定义）。
• 对象检测：用边界框定位对象的存在，并定位图像中对象的类型或类别。
  • 输入：带有一个或多个对象的图像，例如照片。
  • 输出：一个或多个边界框（例如，由一个点、宽度和高度定义），以及每个边界框的类别标签。

这种计算机视觉任务分类的进一步延伸是对象分割，也称为“对象实例分割”或“语义分割”，其中识别到的对象实例通过突出对象的特定像素而不是粗糙的边界框来指示。

从这个分类中，我们可以看到对象识别指的是一系列具有挑战性的计算机视觉任务。

对象识别计算机视觉任务概述

图像识别问题的大部分最新创新都来自于参与 ILSVRC 任务。

这是一项年度学术竞赛，针对这三种问题类型分别设置了挑战，旨在促进每个层面的独立和单独改进，从而可以更广泛地加以利用。例如，请参阅下面摘自 2015 年 ILSVRC 综述论文 的三个相应任务类型列表

• 图像分类：算法生成图像中存在的对象类别列表。
• 单对象定位：算法生成图像中存在的对象类别列表，以及指示每个对象类别实例的位置和尺度的轴对齐边界框。
• 对象检测：算法生成图像中存在的对象类别列表，以及指示每个对象类别所有实例的位置和尺度的轴对齐边界框。

我们可以看到，“单对象定位”是更广义的“对象定位”的一个更简单版本，它将定位任务限制为图像中一种类型的对象，我们可能会认为这是一个更容易的任务。

下面是单对象定位和对象检测的比较示例，摘自 ILSVRC 论文。请注意两种情况下真实值预期的差异。

单对象定位和对象检测之间的比较。摘自：ImageNet 大规模视觉识别挑战赛。

图像分类模型的性能使用预测类别标签的平均分类错误进行评估。单对象定位模型的性能使用预期类别中预期边界框和预测边界框之间的距离进行评估。而对象识别模型的性能使用图像中已知对象的最佳匹配边界框的精确度和召回率进行评估。

现在我们已经熟悉了对象定位和检测问题，让我们来看看一些最近表现出色的深度学习模型。

R-CNN 模型家族

R-CNN 方法家族指的是 R-CNN，它可能代表“带有 CNN 特征的区域”或“基于区域的卷积神经网络”，由 Ross Girshick 等人开发。

这包括 R-CNN、Fast R-CNN 和 Faster R-CNN 等技术，它们被设计和演示用于对象定位和对象识别。

让我们依次仔细研究这些技术的亮点。

R-CNN

R-CNN 是由 Ross Girshick 等人于 2014 年在加州大学伯克利分校发表的论文《用于精确目标检测和语义分割的丰富特征层次结构》中描述的。

它可能是卷积神经网络在目标定位、检测和分割问题上首次大规模成功应用。该方法在基准数据集上进行了演示，在 VOC-2012 数据集和 200 类 ILSVRC-2013 目标检测数据集上取得了当时最先进的结果。

他们提出的 R-CNN 模型由三个模块组成；它们是

• 模块 1：区域提案。生成并提取与类别无关的区域提案，即候选边界框。
• 模块 2：特征提取器。从每个候选区域中提取特征，例如使用深度卷积神经网络。
• 模块 3：分类器。将特征分类为已知类别之一，例如线性支持向量机分类器模型。

模型的架构如下图所示，摘自论文。

R-CNN 模型架构总结。摘自《用于精确目标检测和语义分割的丰富特征层次结构》。

一种计算机视觉技术用于提出图像中潜在对象的候选区域或边界框，称为“选择性搜索”，尽管设计的灵活性允许使用其他区域提案算法。

该模型使用的特征提取器是赢得了 ILSVRC-2012 图像分类竞赛的 AlexNet 深度 CNN。CNN 的输出是一个 4,096 元素向量，描述了图像的内容，该向量被馈送到线性支持向量机进行分类，具体来说，每个已知类别训练一个支持向量机。

这是卷积神经网络在对象定位和识别问题上相对简单直接的应用。该方法的一个缺点是速度慢，需要对区域提案算法生成的每个候选区域进行基于卷积神经网络的特征提取。这是一个问题，因为论文描述的模型在测试时对每个图像处理大约 2,000 个提议区域。

R-CNN 的 Python (Caffe) 和 MatLab 源代码已在 R-CNN GitHub 存储库中提供。

快速R-CNN

鉴于 R-CNN 的巨大成功，当时在微软研究院的 Ross Girshick 在 2015 年的一篇题为《Fast R-CNN》的论文中提出了一个扩展，以解决 R-CNN 的速度问题。

论文首先回顾了 R-CNN 的局限性，可总结如下

• 训练是一个多阶段管道。涉及三个独立模型的准备和操作。
• 训练在空间和时间上都很昂贵。对每个图像如此多的区域提案训练深度 CNN 非常缓慢。
• 对象检测很慢。对如此多的区域提案使用深度 CNN 进行预测非常缓慢。

之前曾提出一项工作来加速该技术，称为空间金字塔池化网络（SPPnets），该工作发表在 2014 年的论文《深度卷积网络中的空间金字塔池化用于视觉识别》中。这确实加快了特征提取速度，但本质上使用了某种前向传递缓存算法。

Fast R-CNN 被提议作为一个单一模型，而不是一个管道，直接学习和输出区域和分类。

模型架构将照片和一组区域提案作为输入，通过深度卷积神经网络。使用预训练的 CNN（例如 VGG-16）进行特征提取。深度 CNN 的末端是一个名为兴趣区域池化层（RoI Pooling）的自定义层，它提取特定于给定输入候选区域的特征。

CNN 的输出随后由全连接层解释，然后模型分叉为两个输出，一个用于通过 softmax 层进行类别预测，另一个用于边界框的线性输出。然后对给定图像中每个感兴趣区域重复此过程多次。

模型的架构如下图所示，摘自论文。

Fast R-CNN 模型架构总结。
摘自：Fast R-CNN。

该模型训练和预测的速度显著加快，但仍需要为每个输入图像提出一组候选区域。

Fast R-CNN 的 Python 和 C++ (Caffe) 源代码已在 GitHub 存储库中提供。

更快的 R-CNN

微软研究院的 Shaoqing Ren 等人于 2016 年发表的论文《Faster R-CNN：迈向带有区域提案网络的实时目标检测》进一步改进了模型架构，提高了训练和检测的速度。

该架构是 ILSVRC-2015 和 MS COCO-2015 目标识别和检测竞赛任务中获得第一名结果的基础。

该架构旨在在训练过程中提出并完善区域提案，这被称为区域提案网络（RPN）。然后，这些区域与 Fast R-CNN 模型结合在一个单一模型设计中。这些改进既减少了区域提案的数量，又加速了模型的测试时间操作，使其接近实时性能，并具有当时最先进的性能。

…我们的检测系统在 GPU 上的帧率为 5fps（包括所有步骤），同时在 PASCAL VOC 2007、2012 和 MS COCO 数据集上实现了最先进的目标检测精度，每个图像仅需 300 个提案。在 ILSVRC 和 COCO 2015 竞赛中，Faster R-CNN 和 RPN 是多个赛道中获得第一名的基础。

— Faster R-CNN：迈向带有区域提案网络的实时目标检测，2016。

尽管它是一个统一的单一模型，但其架构由两个模块组成

• 模块 1：区域提案网络。用于提出区域和考虑区域中对象类型的卷积神经网络。
• 模块 2：快速 R-CNN。用于从提案区域中提取特征并输出边界框和类别标签的卷积神经网络。

这两个模块都在同一个深度 CNN 输出上运行。区域提案网络充当 Fast R-CNN 网络的注意力机制，告知第二个网络应该关注哪里。

模型的架构如下图所示，摘自论文。

更快的 R-CNN 模型架构总结。摘自：更快的 R-CNN：迈向具有区域提案网络的实时对象检测。

RPN 的工作原理是获取预训练深度 CNN（例如 VGG-16）的输出，并通过一个小型网络对特征图进行处理，然后输出多个区域提案和每个提案的类别预测。区域提案是边界框，基于所谓的锚框或预定义形状，旨在加速和改进区域提案。类别预测是二元的，指示对象是否存在，即所谓的提议区域的“对象性”。

使用一种交替训练过程，两个子网络同时训练，但交错进行。这允许特征检测器深度 CNN 中的参数同时针对两个任务进行调整或微调。

在撰写本文时，Faster R-CNN 架构是该模型家族的巅峰之作，并继续在对象识别任务上取得接近最先进的结果。2017 年论文《Mask R-CNN》中描述的进一步扩展增加了对图像分割的支持。

Fast R-CNN 的 Python 和 C++ (Caffe) 源代码已在 GitHub 存储库中提供。

YOLO 模型家族

另一个流行的对象识别模型家族统称为 YOLO 或“你只看一次”，由 Joseph Redmon 等人开发。

R-CNN 模型可能普遍更准确，但 YOLO 模型家族速度很快，比 R-CNN 快得多，实现了实时对象检测。

YOLO

YOLO 模型最初由 Joseph Redmon 等人于 2015 年发表的论文《你只看一次：统一、实时目标检测》中描述。请注意，R-CNN 的开发者 Ross Girshick 当时也在 Facebook AI Research 担任作者和贡献者。

该方法涉及一个端到端训练的单一神经网络，该网络将照片作为输入，并直接预测每个边界框的边界框和类别标签。该技术提供了较低的预测精度（例如，更多的定位错误），但对于速度优化的模型版本，其运行速度为每秒 45 帧，最高可达每秒 155 帧。

我们的统一架构速度极快。我们的基础 YOLO 模型以每秒 45 帧的速度实时处理图像。一个更小的网络版本，Fast YOLO，处理速度惊人地达到每秒 155 帧…

— 你只看一次：统一、实时目标检测，2015。

该模型的工作原理是，首先将输入图像分割成一个网格单元，每个单元负责预测一个边界框，如果边界框的中心落在该单元内。每个网格单元预测一个边界框，包括 x、y 坐标、宽度和高度以及置信度。类别预测也基于每个单元。

例如，图像可以被划分为 7x7 的网格，网格中的每个单元可以预测 2 个边界框，从而产生 94 个提议的边界框预测。然后将类别概率图和带有置信度的边界框组合成最终的边界框和类别标签集。下图摘自论文，总结了模型的两个输出。

YOLO 模型预测总结。摘自：你只看一次：统一、实时目标检测

YOLOv2 (YOLO9000) 和 YOLOv3

Joseph Redmon 和 Ali Farhadi 在他们 2016 年题为《YOLO9000：更好、更快、更强》的论文中更新了模型，旨在进一步提高模型性能。

虽然该模型的变体被称为 YOLO v2，但其中描述了一个模型实例，该实例在两个对象识别数据集上并行训练，能够预测 9,000 个对象类别，因此得名“YOLO9000”。

对模型进行了一些训练和架构更改，例如使用批量归一化和高分辨率输入图像。

与 Faster R-CNN 类似，YOLOv2 模型利用锚框，即具有有用形状和大小的预定义边界框，在训练期间进行调整。图像的边界框选择通过对训练数据集进行 k-means 分析进行预处理。

重要的是，边界框的预测表示被改变，以允许微小的变化对预测产生较小的戏剧性影响，从而产生更稳定的模型。模型不再直接预测位置和大小，而是预测用于移动和重塑相对于网格单元的预定义锚框的偏移量，并通过逻辑函数进行抑制。

预测边界框位置和形状时选择的表示示例。摘自：YOLO9000：更好、更快、更强

Joseph Redmon 和 Ali Farhadi 在他们 2018 年的论文《YOLOv3：增量改进》中进一步改进了模型。这些改进相对较小，包括更深的特征检测网络和微小的表示变化。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

论文

• ImageNet 大规模视觉识别挑战赛, 2015.

R-CNN 系列论文

• 用于精确目标检测和语义分割的丰富特征层次结构, 2013.
• 深度卷积网络中的空间金字塔池化用于视觉识别, 2014.
• 快速R-CNN, 2015.
• Faster R-CNN：迈向实时目标检测，采用区域提议网络, 2016.
• Mask R-CNN, 2017.

YOLO 系列论文

• You Only Look Once：统一、实时目标检测, 2015.
• YOLO9000：更好、更快、更强, 2016.
• YOLOv3：增量改进, 2018.

代码项目

• R-CNN：带有卷积神经网络特征的区域，GitHub.
• Fast R-CNN，GitHub.
• Faster R-CNN Python 代码，GitHub.
• YOLO，GitHub.

资源

• Ross Girshick，主页。
• 约瑟夫·雷德蒙，主页.
• YOLO：实时目标检测，主页.

文章

• CNN 在图像分割中的简史：从 R-CNN 到 Mask R-CNN, 2017.
• 物体检测傻瓜教程 第 3 部分：R-CNN 家族, 2017.
• 物体检测第 4 部分：快速检测模型, 2018.

总结

在这篇文章中，您了解了对象识别问题以及旨在解决该问题的最先进深度学习模型的温和介绍。

具体来说，你学到了：

• 对象识别是指用于识别数字照片中对象的一系列相关任务。
• 基于区域的卷积神经网络（R-CNN）是一系列解决对象定位和识别任务的技术，旨在提高模型性能。
• You Only Look Once（YOLO）是第二系列对象识别技术，旨在提高速度和实现实时使用。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发用于视觉的深度学习模型！

在几分钟内开发您自己的视觉模型

...只需几行python代码

在我的新电子书中探索如何实现
用于计算机视觉的深度学习

它提供关于以下主题的自学教程：
分类、物体检测（YOLO和R-CNN）、人脸识别（VGGFace和FaceNet）、数据准备等等……

最终将深度学习引入您的视觉项目

跳过学术理论。只看结果。

查看内容