卷积神经网络池化层简介

卷积层在卷积神经网络中总结输入图像中特征的存在。

卷积层输出的一个问题是它们对输入中特征的位置很敏感。解决此敏感性的一种方法是对特征图进行下采样。这会使由此产生的下采样特征图对图像中特征位置的变化更具鲁棒性，这在技术上称为“局部平移不变性”。

池化层通过对特征图的块中特征的存在进行总结，提供了一种下采样特征图的方法。两种常见的池化方法是平均池化和最大池化，它们分别总结了特征的平均存在和特征的最激活存在。

在本教程中，您将了解池化操作的工作原理以及如何在卷积神经网络中实现它。

完成本教程后，您将了解：

• 需要池化来对特征图中的特征检测进行下采样。
• 如何在卷积神经网络中计算和实现平均池化和最大池化。
• 如何在卷积神经网络中使用全局池化。

开启您的项目，阅读我的新书《计算机视觉深度学习》，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

卷积神经网络池化层简介
照片由 Nicholas A. Tonelli 拍摄，保留部分权利。

教程概述

本教程分为五个部分；它们是：

1. 池化
2. 检测垂直线
3. 平均池化层
4. 最大池化层
5. 全局池化层

池化层

卷积神经网络中的卷积层系统地将学习到的滤波器应用于输入图像，以创建总结输入中特征存在的特征图。

卷积层被证明非常有效，并且在深度模型中堆叠卷积层允许靠近输入的层学习低级特征（例如线条），而模型中更深的层则学习更高级别或更抽象的特征，例如形状或特定对象。

卷积层特征图输出的一个限制是它们会记录特征在输入中的精确位置。这意味着特征在输入图像中的位置发生微小移动会导致特征图不同。这可能发生在重新裁剪、旋转、偏移和其他对输入图像的微小更改中。

信号处理中解决此问题的一种常见方法称为下采样。这是创建输入信号的较低分辨率版本，该版本仍包含大的或重要的结构元素，而没有可能对任务不太有用的精细细节。

可以通过更改图像上的卷积步长，使用卷积层来实现下采样。一种更鲁棒且常见的方法是使用池化层。

池化层是添加到卷积层之后的新层。具体来说，是在应用了非线性（例如 ReLU）到卷积层输出的特征图之后；例如，模型中的层可能如下所示：

1. 输入图像
2. 卷积层
3. 非线性
4. 池化层

在卷积层之后添加池化层是卷积神经网络中用于排序层的一种常见模式，该模式可以在给定模型中重复一次或多次。

池化层独立地作用于每个特征图，以创建一组新的、数量相同的池化特征图。

池化涉及选择一个池化操作，类似于应用于特征图的滤波器。池化操作或滤波器的大小小于特征图的大小；具体来说，它几乎总是2×2像素，步长为2像素。

这意味着池化层将始终将每个特征图的大小减小2倍，例如，每个维度减半，从而使每个特征图中的像素或值数量减少到四分之一。例如，应用于6×6特征图（36个像素）的池化层将生成一个3×3（9个像素）的输出池化特征图。

池化操作是指定的，而不是学习的。在池化操作中使用的两个常见函数是

• 平均池化：计算特征图上每个块的平均值。
• 最大池化（或 Max Pooling）：计算特征图每个块的最大值。

使用池化层并创建下采样或池化特征图的结果是输入中检测到的特征的汇总版本。它们很有用，因为卷积层在输入中检测到的特征位置的微小变化将导致具有相同位置特征的池化特征图。池化添加的此功能称为模型的局部平移不变性。

在所有情况下，池化都有助于使表示近似于输入的小平移不变。平移不变性意味着如果我们稍微平移输入，大多数池化输出的值不会改变。

— 第 342 页，深度学习，2016。

现在我们熟悉了池化层的需求和好处，让我们看一些具体的例子。

检测垂直线

在查看池化层的示例及其效果之前，让我们开发一个输入图像和卷积层的简化示例，稍后我们可以在其中添加和评估池化层。

在此示例中，我们定义了一个输入图像或样本，它有一个通道，是一个8像素×8像素的正方形，所有像素值均为0，中心有一个宽度为2像素的垂直线。

接下来，我们可以定义一个模型，该模型接受形状为 (8, 8, 1) 的输入样本，并具有一个隐藏的卷积层，该层带有形状为 3 像素×3 像素的单个滤波器。

然后，将 ReLU（整流线性单元）激活函数应用于特征图中的每个值。这是一种简单有效的非线性函数，在这种情况下不会更改特征图中的值，但之所以存在，是因为我们将稍后添加后续的池化层，并且池化是在应用于特征图的非线性之后添加的，例如，这是最佳实践。

滤波器在模型初始化时使用随机权重进行初始化。

取而代之的是，我们将硬编码我们自己的 3×3 滤波器来检测垂直线。也就是说，当滤波器检测到垂直线时会强激活，当未检测到时会弱激活。我们期望通过将此滤波器应用于输入图像，输出特征图将显示已检测到垂直线。

接下来，我们可以通过调用模型的predict()函数将滤波器应用于我们的输入图像。

结果是四维输出，包含一个批次、给定数量的行和列以及一个滤波器，即 [batch, rows, columns, filters]。我们可以打印单个特征图中的激活值，以确认已检测到线条。

将所有这些联系在一起，完整的示例如下。

运行该示例首先会总结模型的结构。

值得注意的是，单个隐藏的卷积层将接收 8×8 像素的输入图像，并生成一个尺寸为 6×6 的特征图。

我们还可以看到该层有 10 个参数：即滤波器的 9 个权重（3×3）和 1 个偏置权重。

最后，打印出单个特征图。

从审查 6×6 矩阵中的数字可以看出，我们手动指定的滤波器确实检测到了我们输入图像中间的垂直线。

现在我们可以看看一些常见的池化方法以及它们如何影响输出特征图。

平均池化层

在二维特征图上，池化通常以 2×2 的块在特征图上应用，步长为 (2,2)。

平均池化涉及计算特征图每个块的平均值。这意味着特征图的每个 2×2 正方形将被下采样到该正方形中的平均值。

例如，上一节中线条检测器卷积滤波器的输出是一个 6×6 的特征图。我们可以手动查看将平均池化操作应用于该特征图的第一行。

用于池化的第一行（前两行和六列）输出特征图如下：

第一个池化操作如下应用：

给定步长为 2，操作沿左侧移动两个列，并计算平均值：

再次，操作沿左侧移动两个列，并计算平均值：

这就是第一行池化操作。结果是平均池化操作的第一行：

给定 (2,2) 的步长，操作随后向下移动两行，然后移回到第一列，并继续此过程。

由于下采样操作将每个维度减半，我们预计应用于 6×6 特征图的池化输出将是一个新的 3×3 特征图。考虑到特征图输入的水平对称性，我们预计每行将具有相同的平均池化值。因此，我们预计上一节中检测到的线条特征图的平均池化结果将如下所示：

我们可以通过更新上一节的示例来使用平均池化来验证这一点。

在 Keras 中，可以通过使用AveragePooling2D层来实现此目的。该层的默认池化大小（例如，类似于核大小或滤波器大小）为 (2,2)，默认步长为None，在这种情况下，它将池化大小用作步长，即 (2,2)。

完整的平均池化示例列示如下：

运行示例首先总结了模型。

从模型摘要中我们可以看到，池化层的输入将是一个形状为 (6,6) 的单个特征图，并且平均池化层的输出将是一个每个维度减半的单个特征图，形状为 (3,3)。

应用平均池化会生成一个新特征图，该特征图仍然可以检测到线条，尽管是以下采样的方式，这与我们从手动计算操作中预期的完全一致。

平均池化效果很好，尽管最大池化更常用。

最大池化层

最大池化（或 Max Pooling）是一种池化操作，它计算每个特征图中每个块的最大值或最大值。

结果是下采样或池化后的特征图，它们突出显示了块中特征的最存在，而不是像平均池化那样突出特征的平均存在。对于图像分类等计算机视觉任务，这已被证明比平均池化效果更好。

简而言之，原因是特征倾向于对特征图不同图块上的某些模式或概念的空间存在进行编码（因此，称为特征图），并且查看不同特征的最大存在比查看它们的平均存在更有信息量。

— 第 129 页，Python 深度学习，2017。

我们可以通过再次将最大池化操作应用于线条检测器卷积操作的输出特征图，并手动计算池化特征图的第一行来具体化最大池化操作。

用于池化的第一行（前两行和六列）输出特征图如下：

第一个最大池化操作如下应用：

给定步长为 2，操作沿左侧移动两个列，并计算最大值：

再次，操作沿左侧移动两个列，并计算最大值：

这就是第一行池化操作。

结果是最大池化操作的第一行：

同样，考虑到用于池化的特征图的水平对称性，我们预计池化特征图将如下所示：

碰巧的是，所选的线条检测器图像和特征图在使用平均池化和最大池化进行下采样时产生相同的输出。

可以通过添加 Keras API 提供的MaxPooling2D层来将最大池化操作添加到工作示例中。

带有最大池化的垂直线条检测的完整示例列示如下：

运行示例首先总结了模型。

正如我们现在所期望的，我们可以看到最大池化层的输出将是一个每个维度减半的单个特征图，形状为 (3,3)。

应用最大池化会生成一个新特征图，该特征图仍然可以检测到线条，尽管是以一种下采样的方式。

全局池化层

还有另一种有时使用的池化类型，称为全局池化。

全局池化不如下采样输入特征图的块，而是将整个特征图下采样为一个值。这等同于将池化大小设置为输入特征图的大小。

全局池化可以在模型中使用，以极大地总结图像中特征的存在。它有时也用在模型中，作为使用全连接层将特征图转换为模型输出预测的替代方案。

全局平均池化和全局最大池化都可以通过 Keras 的GlobalAveragePooling2D和GlobalMaxPooling2D类分别支持。

例如，我们可以将全局最大池化添加到用于垂直线条检测的卷积模型中。

结果将是一个单一值，该值将总结输入图像中垂直线的最强激活或存在。

完整的代码列表如下。

运行该示例首先会总结模型。

正如预期的那样，我们可以看到全局池化层的输出是一个汇总了单个特征图中特征存在的单一值。

接下来，打印模型的输出，显示全局最大池化对特征图的影响，打印单个最大激活值。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

文章

• 机器学习卷积神经网络速成课程

书籍

• 第9章：卷积网络，深度学习，2016年。
• 第5章：深度学习计算机视觉，Python 深度学习，2017年。

API

• Keras卷积层API
• Keras 池化层 API

总结

在本教程中，您了解了池化操作的工作原理以及如何在卷积神经网络中实现它。

具体来说，你学到了：

• 需要池化来对特征图中的特征检测进行下采样。
• 如何在卷积神经网络中计算和实现平均池化和最大池化。
• 如何在卷积神经网络中使用全局池化。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发用于视觉的深度学习模型！

在几分钟内开发您自己的视觉模型

...只需几行python代码

在我的新电子书中探索如何实现
用于计算机视觉的深度学习

它提供关于以下主题的自学教程：
分类、物体检测（YOLO和R-CNN）、人脸识别（VGGFace和FaceNet）、数据准备等等……

最终将深度学习引入您的视觉项目

跳过学术理论。只看结果。

查看内容