卷积层如何在深度学习神经网络中工作？

卷积层是卷积神经网络中使用的主要构建块。

卷积是过滤器在输入上的简单应用，从而产生激活。对同一输入重复应用相同的过滤器会产生一个激活图，称为特征图，指示输入（例如图像）中检测到的特征的位置和强度。

卷积神经网络的创新之处在于能够根据特定预测建模问题的约束，例如图像分类，在训练数据集中并行自动学习大量特定过滤器。结果是高度特定的特征，可以在输入图像中的任何位置检测到。

在本教程中，您将了解卷积在卷积神经网络中的工作原理。

完成本教程后，您将了解：

• 卷积神经网络将过滤器应用于输入以创建特征图，该特征图总结了输入中检测到的特征的存在。
• 过滤器可以是手工制作的，例如线条检测器，但卷积神经网络的创新在于在特定预测问题的上下文中训练期间学习过滤器。
• 如何在卷积神经网络中计算一维和二维卷积层的特征图。

通过我的新书 《计算机视觉深度学习》 开启您的项目，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

深度学习神经网络卷积层的入门介绍
照片来源：mendhak，保留部分权利。

教程概述

本教程分为四个部分；它们是

1. 卷积神经网络中的卷积
2. 计算机视觉中的卷积
3. 学习过滤器的力量
4. 卷积层的工作示例

卷积神经网络中的卷积

卷积神经网络（简称 CNN）是一种专门的神经网络模型，用于处理二维图像数据，尽管它们也可以用于处理一维和三维数据。

卷积神经网络的核心是为其名称提供来源的卷积层。该层执行称为“卷积”的操作。

在卷积神经网络的上下文中，卷积是一种线性运算，涉及一组权重与输入的乘法，这与传统神经网络非常相似。鉴于该技术是为二维输入设计的，乘法是在输入数据数组和二维权重数组（称为过滤器或卷积核）之间执行的。

过滤器比输入数据小，在过滤器大小的输入块和过滤器之间应用的乘法类型是点积。一个 点积 是过滤器大小的输入块和过滤器的逐元素乘法，然后求和，结果始终是单个值。由于它产生一个单一的值，该操作通常被称为“标量积”。

有意使用比输入小得多的过滤器，因为它允许相同的过滤器（一组权重）在输入的不同位置多次与输入数组相乘。具体来说，过滤器系统地应用于输入数据的每个重叠部分或过滤器大小的块，从左到右，从上到下。

在整个图像中系统地应用相同过滤器的这种方式是一个强大的想法。如果过滤器旨在检测输入中的特定类型特征，那么系统地将该过滤器应用于整个输入图像将允许过滤器有机会在图像的任何位置发现该特征。此功能通常称为平移不变性，例如，普遍关注特征是否存在，而不是它在哪里。

如果更关心某个特征是否存在而不是它确切的位置，那么局部平移不变性可能是一个非常有用的属性。例如，在确定图像是否包含人脸时，我们不必确切知道像素级的人脸眼睛位置，我们只需要知道人脸的左侧有一只眼睛，人脸的右侧有一只眼睛。

— 第 342 页，《深度学习》，2016 年。

一次将过滤器与输入数组相乘的结果是一个单一的值。当过滤器多次应用于输入数组时，结果是表示输入过滤的二维输出值数组。因此，此操作产生的二维输出数组称为“特征图”。

一旦创建了特征图，我们就可以将特征图中的每个值通过非线性函数（例如 ReLU）传递，就像我们对全连接层的输出所做的那样。

将过滤器应用于二维输入以创建特征图的示例

如果您来自数字信号处理领域或相关的数学领域，您可能会理解矩阵上的卷积操作有所不同。具体来说，过滤器（卷积核）在应用于输入之前会被翻转。严格来说，卷积在卷积神经网络中的使用实际上是“互相关”。尽管如此，在深度学习中，它被称为“卷积”运算。

许多机器学习库都实现了互相关，但称之为卷积。

— 第 333 页，《深度学习》，2016 年。

总之，我们有一个输入，例如像素值的图像，我们有一个过滤器，它是一组权重，过滤器系统地应用于输入数据以创建特征图。

计算机视觉中的卷积

将卷积运算应用于图像数据的思想并不新鲜，也不是卷积神经网络独有的；它是计算机视觉中常用的技术。

历史上，过滤器是由计算机视觉专家手工设计的，然后将其应用于图像以产生特征图或通过应用过滤器获得的输出，从而以某种方式使图像分析更容易。

例如，下面是一个手工制作的 3x3 元素过滤器，用于检测垂直线

将此过滤器应用于图像将生成一个仅包含垂直线的特征图。它是一个垂直线检测器。

您可以从过滤器中的权重值中看出这一点；中心垂直线中的任何像素值都将正激活，而两侧的像素将负激活。系统地将此过滤器应用于图像中的像素值只能突出显示垂直线像素。

也可以创建水平线检测器并将其应用于图像，例如

组合两个过滤器的结果，例如组合两个特征图，将突出显示图像中的所有线条。

可以设计数十个甚至数百个其他小型过滤器来检测图像中的其他特征。

在神经网络中使用卷积运算的创新之处在于，过滤器的值是在网络训练期间学习的权重。

网络将学习从输入中提取哪种类型的特征。具体来说，在随机梯度下降下训练时，网络被迫学习从图像中提取最小化特定任务损失的特征，网络正在为此目的进行训练，例如提取对将图像分类为狗或猫最有用的特征。

在这种情况下，您可以看到这是一个强大的想法。

学习过滤器的力量

学习针对机器学习任务的单个过滤器是一种强大的技术。

然而，卷积神经网络在实践中取得了更多成就。

多个过滤器

卷积神经网络不学习单个过滤器；事实上，它们会从给定的输入中并行学习多个特征。

例如，卷积层通常从 32 到 512 个过滤器中为给定输入并行学习。

这使模型有 32 种，甚至 512 种不同的从输入中提取特征的方式，或者“学习看”和训练后“看”输入数据的许多不同方式。

这种多样性允许专业化，例如，不仅仅是线条，而是您特定训练数据中看到的特定线条。

多个通道

彩色图像有多个通道，通常每个颜色通道一个，例如红色、绿色和蓝色。

从数据的角度来看，这意味着输入到模型中的单个图像实际上是三个图像。

过滤器必须具有与输入相同的通道数，通常称为“深度”。如果输入图像有 3 个通道（例如深度为 3），那么应用于该图像的过滤器也必须有 3 个通道（例如深度为 3）。在这种情况下，一个 3x3 的过滤器实际上将是 3x3x3 或 [3, 3, 3]，分别代表行、列和深度。无论输入深度和过滤器深度如何，过滤器都通过点积运算应用于输入，该运算产生单个值。

这意味着，如果一个卷积层有 32 个过滤器，那么这 32 个过滤器不仅仅是二维的用于二维图像输入，它们也是三维的，为三个通道中的每一个都具有特定的过滤器权重。然而，每个过滤器都会产生一个特征图。这意味着使用 32 个过滤器应用卷积层的输出深度是 32，用于创建的 32 个特征图。

多个层

卷积层不仅应用于输入数据，例如原始像素值，还可以应用于其他层的输出。

卷积层的堆叠允许输入的层次分解。

考虑直接在原始像素值上操作的过滤器将学习提取低级特征，例如线条。

操作第一层线条的过滤器可能会提取低级特征组合的特征，例如构成多个线条以表达形状的特征。

这个过程一直持续到非常深的层提取人脸、动物、房屋等。

这正是我们在实践中看到的。随着网络深度的增加，特征的抽象化程度越来越高。

卷积层的工作示例

Keras 深度学习库提供了一套卷积层。

通过查看一些包含人为数据和手工过滤器的工作示例，我们可以更好地理解卷积运算。

在本节中，我们将研究一维卷积层和二维卷积层的示例，以便使卷积运算具体化并提供使用 Keras 层的实际示例。

一维卷积层示例

我们可以定义一个一维输入，它有八个元素，值都为 0.0，中间有两个元素的隆起，值为 1.0。

Keras 的输入对于一维卷积层必须是三维的。

第一个维度表示每个输入样本；在这种情况下，我们只有一个样本。第二个维度表示每个样本的长度；在这种情况下，长度为八。第三个维度表示每个样本中的通道数；在这种情况下，我们只有一个通道。

因此，输入数组的形状将是 [1, 8, 1]。

我们将定义一个模型，该模型期望输入样本的形状为 [8, 1]。

模型将有一个过滤器，形状为 3，即三个元素宽。Keras 将过滤器的形状称为核大小（kernel_size）。

默认情况下，卷积层的过滤器会用随机权重进行初始化。在这个人为的例子中，我们将手动指定单个过滤器的权重。我们将定义一个能够检测隆起的过滤器，即被低输入值包围的高输入值，正如我们在输入示例中所定义的。

我们将定义的三个元素的过滤器如下所示

卷积层还有一个偏置输入值，它也需要一个权重，我们将将其设置为零。

因此，我们可以强制我们的一个维度卷积层的权重使用我们手工制作的过滤器，如下所示

权重必须以三维结构指定，即行、列和通道。过滤器有一行、三列和一个通道。

我们可以检索权重并确认它们已正确设置。

最后，我们可以将单个过滤器应用于我们的输入数据。

我们可以通过调用模型的predict() 函数来实现这一点。这将直接返回特征图：即系统地将过滤器应用于输入序列的结果。

将所有这些联系在一起，完整的示例如下。

运行示例首先打印网络的权重；这是我们手工过滤器已按预期设置为模型的确认。

接下来，将过滤器应用于输入模式，计算并显示特征图。从特征图的值可以看出，隆起被正确检测到。

让我们仔细看看这里发生了什么。

请记住，输入是一个八元素向量，其值为：[0, 0, 0, 1, 1, 0, 0, 0]。

首先，通过计算点积（“.”运算符），将三个元素的过滤器 [0, 1, 0] 应用于输入 [0, 0, 0] 的前三个输入，这在特征图中产生了一个单一的输出值零。

请记住，点积是逐元素乘法的总和，或者在这里它是 (0 x 0) + (1 x 0) + (0 x 0) = 0。在 NumPy 中，这可以手动实现为

在我们的手动示例中，如下所示

然后过滤器沿着输入序列的一个元素移动，并重复该过程；具体来说，相同的过滤器应用于索引 1、2 和 3 处的输入序列，这也导致特征图中输出为零。

我们是系统化的，所以再次，过滤器沿着输入再移动一个元素，并应用于索引 2、3 和 4 处的输入。这次输出是特征图中的一个值。我们检测到了该特征并进行了适当的激活。

这个过程一直重复，直到我们计算完整个特征图。

请注意，特征图有六个元素，而我们的输入有八个元素。这是过滤器如何应用于输入序列的一个伪影。还有其他方法可以应用过滤器来输入序列，从而改变结果特征图的形状，例如填充，但我们不会在本文中讨论这些方法。

您可以想象，使用不同的输入，我们可能会以更大的强度或更小的强度检测到该特征，并且使用过滤器中的不同权重，我们会检测到输入序列中的不同特征。

二维卷积层示例

我们可以将上一节中的隆起检测示例扩展到二维图像中的垂直线检测器。

同样，我们可以约束输入，在这种情况下，约束为具有单个通道（例如灰度）的 8x8 像素方形输入图像，中间有一条垂直线。

Conv2D 层的输入必须是四维的。

第一个维度定义样本；在这种情况下，只有一个样本。第二个维度定义行数；在这种情况下，为八。第三个维度定义列数，同样为八，最后是通道数，在这种情况下为一。

因此，输入必须具有四维形状 [样本、行、列、通道] 或在这种情况下为 [1, 8, 8, 1]。

我们将像上一节的 Conv1D 示例一样，定义一个 Conv2D，其中包含一个过滤器。

过滤器将是二维的且为正方形，形状为 3x3。该层将期望输入样本的形状为 [列、行、通道] 或 [8, 8, 1]。

我们将定义一个垂直线检测器过滤器来检测输入数据中的单条垂直线。

过滤器如下所示

我们可以按如下方式实现此目标

最后，我们将过滤器应用于输入图像，这将产生一个特征图，我们可以期望该特征图显示输入图像中的垂直线被检测到。

特征图输出的形状将是四维的，形状为 [批次, 行, 列, 过滤器]。我们将执行单个批次，并且只有一个过滤器（一个过滤器和一个输入通道），因此输出形状为 [1, ?, ?, 1]。我们可以如下格式化打印单个特征图的内容

将所有这些联系在一起，完整的示例如下。

运行示例首先确认手工过滤器已正确定义在层权重中

接下来，打印计算出的特征图。从数字的规模可以看出，过滤器确实在特征图的中间检测到了单条垂直线，并具有强激活。

让我们仔细看看计算了什么。

首先，过滤器应用于图像的左上角，或一个 3x3 元素的图像块。严格来说，图像块是三维的，只有一个通道，过滤器具有相同的尺寸。我们不能在 NumPy 中使用 dot() 函数来实现这一点，而是必须使用 tensordot() 函数，以便我们可以跨所有维度进行适当的求和，例如

此计算产生一个单一的输出值 0.0，即未检测到该特征。这给出了特征图左上角第一个元素。

手动计算如下

过滤器向左移动一列，并重复该过程。同样，未检测到该特征。

再向左移动一列到下一列，特征首次被检测到，从而产生强激活。

这个过程一直重复，直到过滤器的边缘与输入图像的边缘或最后一列对齐。这给出了特征图第一完整行的最后一个元素。

然后过滤器向下移动一行，回到第一列，并从左到右重复该过程，得到特征图的第二行。一直到过滤器底部与输入图像的底部或最后一行对齐。

同样，与上一节一样，我们可以看到特征图是一个 6x6 的矩阵，比 8x8 的输入图像小，因为过滤器在应用到输入图像时受到限制。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

文章

• 机器学习卷积神经网络速成课程

书籍

• 第9章：卷积网络，深度学习，2016年。
• 第5章：深度学习计算机视觉，Python 深度学习，2017年。

API

• Keras卷积层API
• numpy.asarray API

总结

在本教程中，您了解了卷积在卷积神经网络中的工作原理。

具体来说，你学到了：

• 卷积神经网络将过滤器应用于输入以创建特征图，该特征图总结了输入中检测到的特征的存在。
• 过滤器可以是手工制作的，例如线条检测器，但卷积神经网络的创新在于在特定预测问题的上下文中训练期间学习过滤器。
• 如何在卷积神经网络中计算一维和二维卷积层的特征图。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发用于视觉的深度学习模型！

在几分钟内开发您自己的视觉模型

...只需几行python代码

在我的新电子书中探索如何实现
用于计算机视觉的深度学习

它提供关于以下主题的自学教程：
分类、物体检测（YOLO和R-CNN）、人脸识别（VGGFace和FaceNet）、数据准备等等……

最终将深度学习引入您的视觉项目

跳过学术理论。只看结果。

查看内容