机器学习卷积神经网络速成课程

卷积神经网络是一种强大的人工神经网络技术。

这些网络能够保留问题的空间结构，并且最初是为了对象识别任务（如手写数字识别）而开发的。它们之所以流行，是因为人们可以在具有挑战性的计算机视觉和自然语言处理任务上取得最先进的结果。

在本文中，您将了解用于深度学习的卷积神经网络，也称为 ConvNets 或 CNNs。完成本次速成班后，您将了解：

• CNN 中使用的构建模块，例如卷积层和池化层。
• 构建模块如何组合在一起，并附有简短的实际示例。
• 在对象识别任务上配置 CNN 的最佳实践。
• 有关应用于复杂机器学习问题的最先进网络的参考资料。

通过我的新书 《Python深度学习》 快速启动您的项目，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

卷积神经网络机器学习速成班
照片由 Bryan Ledgard 拍摄，保留部分权利。

卷积神经网络的论据

给定一个包含 32x32 像素的标准化尺寸的灰度图像数据集，传统的前馈神经网络将需要 1024 个输入权重（外加一个偏置）。

这本身是可以的，但是将图像像素矩阵展平成长向量会丢失图像中的所有空间结构。除非所有图像都经过完美缩放，否则神经网络在处理该问题时将遇到很大困难。

卷积神经网络通过使用小块输入数据学习内部特征表示来期望并保留像素之间的空间关系。特征被学习并应用于整个图像，允许图像中的对象在场景中移动或平移，但仍可被网络检测到。

这就是为什么该网络对于照片中的对象识别、识别数字、面孔、物体等具有各种方向非常有用。

总而言之，以下是使用卷积神经网络的一些好处：

• 与全连接网络相比，它们使用的参数（权重）更少。
• 它们被设计成对场景中的对象位置和形变具有不变性。
• 它们可以自动从输入域学习和泛化特征。

卷积神经网络的构建模块

卷积神经网络中有三种类型的层：

1. 卷积层
2. 池化层
3. 全连接层

1. 卷积层

卷积层由滤波器和特征图组成。

滤波器

滤波器是该层的“神经元”。它们接收加权输入并输出一个值。输入尺寸是一个固定大小的正方形，称为块或感受野。

如果卷积层是输入层，则输入块将是像素值。如果在网络架构的更深层，则卷积层将接收来自前一层特征图的输入。

特征图

特征图是应用于前一层的单个滤波器的输出。

给定的滤波器会跨越前一层绘制，一次移动一个像素。每个位置都会激活神经元，输出被收集到特征图中。可以看到，如果感受野从一个激活移动到下一个激活一个像素，那么感受野将与前一个激活重叠 (场宽 - 1) 个输入值。

零填充

滤波器在输入层上移动以进行每次激活的距离称为步幅。

如果前一层的大小不能被滤波器的感受野大小和步幅大小整除，那么感受野可能会尝试超出输入特征图的边缘。在这种情况下，可以使用零填充等技术来创建模拟输入供感受野读取。

2. 池化层

池化层会缩小前一层特征图的尺寸。

池化层紧随一个或多个卷积层之后，旨在巩固在前一层特征图中学习和表达的特征。因此，池化可以被视为一种压缩或泛化特征表示的技术，并且通常会减少模型对训练数据的过拟合。

它们也有感受野，通常比卷积层小得多。此外，为了避免任何重叠，步幅或感受野每次激活移动的输入数量通常等于感受野的大小。

池化层通常非常简单，通过取输入值的平均值或最大值来创建自己的特征图。

有关池化层的更多信息，请参阅本文。

• 卷积神经网络池化层简介

3. 全连接层

全连接层是正常的扁平前馈神经网络层。

这些层可能有一个非线性激活函数或 softmax 激活，以输出类预测的概率。

在经过卷积层和池化层的特征提取和整合后，全连接层通常用于网络的末端。它们用于创建最终的非线性特征组合，并用于网络的预测。

卷积神经网络工作示例

您现在已经了解了卷积层、池化层和全连接层。让我们通过工作示例来具体说明这三个层如何连接在一起。

1. 图像输入数据

假设您有一个灰度图像数据集。每张图像的大小均为 32 像素宽，32 像素高，像素值在 0 到 255 之间，例如，一个 32x32x1 的矩阵或 1024 个像素值。

图像输入数据表示为宽度*高度*通道的 3 维矩阵。如果您在示例中使用彩色图像，您将为红色、绿色和蓝色像素值提供三个通道，例如 32x32x3。

2. 卷积层

定义一个卷积层，包含十个滤波器，感受野为 5x5 像素，步幅长度为 1。

由于每个滤波器一次只能接收来自 5x5 或 25 个像素的输入（即“看到”），您可以计算每个滤波器需要 25 + 1 个输入权重（外加 1 个偏置输入）。

将 5x5 感受野以 1 的步幅宽度跨越输入图像数据，将生成一个 28x28 的特征图输出值，即每个图像 784 个不同的激活值。

您有十个滤波器，因此对于一张图像将创建十个不同的 28x28 特征图，即 7,840 个输出。

最后，您知道每个滤波器有 26 个输入，有十个滤波器，每个滤波器要计算 28x28 的输出值。因此，如果您想用传统的神经网络术语来表述，在卷积层中总共有 26x10x28x28 或 203,840 个“连接”。

卷积层还使用非线性激活函数作为激活的一部分，并且整流器激活函数是流行的默认选择。

3. 池化层

您可以定义一个池化层，其感受野宽度为 2 个输入，高度为 2 个输入。您还可以使用步幅为 2，以确保没有重叠。

这将产生尺寸为输入特征图一半的特征图，从十个不同的 28x28 特征图输入到十个不同的 14x14 特征图输出。

我们将为每个感受野使用 max() 操作，以便激活值是输入值中的最大值。

4. 全连接层

最后，您可以将方形特征图展平为传统的扁平全连接层。

您可以定义一个包含 200 个隐藏神经元的全连接层，每个神经元有 10x14x14 个输入连接，即每个神经元 1960 + 1 个权重。该层总共有 392,200 个连接和权重需要学习。

您可以使用 sigmoid 或 softmax 激活函数直接输出类别值的概率。

卷积神经网络 最佳实践

现在您已经了解了卷积神经网络的构建模块以及各层如何协同工作，您可以回顾一些在应用它们时需要考虑的最佳实践。

• 输入感受野维度：默认值为 2D 用于图像，但对于句子中的单词可以是 1D，或对于视频可以是 3D，增加了时间维度。
• 感受野大小：块应尽可能小，但要足够大以“看到”输入数据中的特征。在小图像上通常使用 3x3，在较大图像尺寸上使用 5x5 或 7x7 及以上。
• 步幅宽度：使用默认步幅 1。它易于理解，并且您不需要填充来处理感受野落在图像边缘的情况。对于较大的图像，可以将其增加到 2 或更大。
• 滤波器数量：滤波器是特征检测器。通常，输入层使用的滤波器较少，而更深的层使用的滤波器越来越多。
• 填充：设置为零，并在读取非输入数据时称为零填充。当您无法或不想标准化输入图像大小时，或者当您想使用不完全整除输入图像大小的感受野和步幅大小时，这非常有用。
• 池化：池化是一种破坏性或泛化过程，用于减少过拟合。感受野几乎总是设置为 2x2，步幅为 2，以丢弃前一层输出 75% 的激活值。
• 数据 准备：考虑标准化输入数据，包括图像的维度和像素值。
• 模式架构：在网络架构中对层进行模式化是很常见的。这可能是一个、两个或几个卷积层，然后是一个池化层。然后可以重复此结构一次或多次。最后，全连接层通常只在输出端使用，并且可以堆叠一层、两层或更多层。
• Dropout：CNN 容易过拟合，即使有池化层。应该使用 Dropout，例如在全连接层之间，或许在池化层之后。

您是否知道更多使用 CNN 的最佳实践？

请在评论中告诉我。

卷积神经网络进阶阅读

您对卷积神经网络的了解仅仅是冰山一角。该领域发展迅速，新的、有趣的架构和技术一直在被讨论和使用。

如果您想对该技术有更深入的了解，请参阅 LeCun 等人的开创性论文《基于梯度的学习应用于文档识别》[PDF]。在其中，他们介绍了应用于手写数字识别的 LeNet，并详细解释了各层以及网络的连接方式。

网上有很多关于 CNN 的教程和讨论。以下是一些精选示例。就个人而言，我发现这些帖子的解释性图片是在理解网络如何工作之后才更有用。许多解释令人困惑，并在不确定时将您引向 LeCun 的论文。

• DeepLearning4J 中的卷积网络
• 斯坦福 CS231n 课程中的卷积网络模型
• 视觉中的卷积网络和应用 [PDF]
• Michael Nielsen 的在线深度学习书籍第 6 章
• 牛津 VGG 卷积神经网络实践
• Denny Britz 的《理解用于 NLP 的卷积神经网络》

总结

在本文中，您了解了卷积神经网络。您学习了：

• 为什么需要 CNN 来保留输入数据的空间结构以及它们提供的优势。
• CNN 的构建模块包括卷积层、池化层和全连接层。
• CNN 中各层的连接方式。
• 将 CNN 应用于您自己问题时的最佳实践。

您对卷积神经网络或本文有任何疑问吗？请在评论中提问，我将尽力回答。