在 OpenCV 中运行神经网络模型

机器学习模型层出不穷，各有优劣。没有神经网络模型，这个目录就不完整了。在OpenCV中，你可以使用其他框架开发的神经网络模型。在这篇文章中，您将了解在OpenCV中应用神经网络的工作流程。具体来说，您将学习

• OpenCV在其神经网络模型中可以使用什么
• 如何为OpenCV准备神经网络模型

通过我的书《OpenCV 机器学习》启动您的项目。它提供了带有可用代码的自学教程。

在 OpenCV 中运行神经网络模型
照片由 Nastya Dulhiier 拍摄。部分权利保留。

神经网络模型概述

神经网络的另一个名称是多层感知器。它受到人脑结构和功能的启发。想象一个由相互连接的节点组成的网络，每个节点都对通过它的数据执行简单的计算。这些节点或“感知器”相互通信，并根据接收到的信息调整连接。这些感知器组织成一个有向图，计算从输入到输出具有确定性顺序。它们的组织通常用顺序的层来描述。学习过程使网络即使在处理未见过的数据时也能识别模式并做出预测。

在计算机视觉领域，神经网络可以处理图像识别、对象检测和图像分割等任务。通常，在模型内部会执行三个高级操作：

1. 特征提取：网络接收图像作为输入。第一层分析像素，寻找诸如边缘、曲线和纹理等基本特征。这些特征就像构建块，让网络对图像内容有一个初步的了解。
2. 特征学习：更深的层在此基础上进行组合和转换，以发现更高级、更复杂的模式。这可能涉及识别形状或对象。
3. 输出生成：最后，网络的最后一层利用学习到的模式进行预测。根据任务的不同，它可以对图像进行分类（例如，猫与狗）或识别其中包含的对象。

这些操作是学习而来的，而非手工设计的。神经网络的强大之处在于其灵活性和适应性。通过微调神经元之间的连接并提供大量的标记数据，我们可以训练它们以惊人的准确性解决复杂的视觉问题。但由于其灵活性和适应性，神经网络在内存和计算复杂度方面通常不是最高效的模型。

训练神经网络

由于模型本身的性质，训练一个通用的神经网络并非易事。OpenCV中没有训练设施。因此，您必须使用其他框架训练模型，然后在OpenCV中加载它。您希望使用OpenCV是因为您已经在项目中使用了OpenCV进行其他图像处理任务，并且不想为项目引入其他依赖项，或者因为OpenCV是一个更轻量级的库。

例如，考虑经典的MNIST手写数字识别问题。为了简单起见，我们将使用Keras和TensorFlow来构建和训练模型。该数据集可以从TensorFlow获取。

两个print语句的输出如下

可以看到，数据集提供的是28×28的灰度数字图像。训练集有60,000个样本。您可以使用matplotlib显示一些随机样本，您应该会看到类似下面的图像

该数据集的标签从0到9，表示图像上的数字。对于这个分类问题，有很多模型可供选择。著名的LeNet5模型就是其中之一。让我们用Keras语法创建一个：

最后一行为您展示了如下的神经网络架构：

该网络包含三个卷积层和两个全连接层。最后一个全连接层的输出是一个10个元素的向量，表示输入图像对应于10个数字之一的概率。

在Keras中训练这样的网络并不困难。

首先，需要将输入从28×28的图像像素重新格式化为28×28×1的张量，以提供卷积层所需的额外维度。然后，应该将标签转换为独热编码向量，以匹配网络输出的格式。

然后，您可以通过提供超参数来启动训练：由于这是多类分类问题，损失函数应为交叉熵。Adam用作优化器，因为它是通常的选择。在训练期间，您希望观察其预测准确率。训练应该很快。因此，我们决定将其运行100个epoch，但如果验证集上的损失指标连续四个epoch没有改进，则让它提前停止。

代码如下：

运行此模型将打印如下的进度：

由于早停规则，训练在第15个epoch停止了。

完成模型训练后，您可以将Keras模型保存为HDF5格式，其中包含模型架构和层权重。

构建模型的完整代码如下：

将模型转换为OpenCV格式

OpenCV在其dnn模块中支持神经网络。它可以解析由多种框架保存的模型，包括TensorFlow 1.x。但对于上面保存的Keras模型，最好先转换为ONNX格式。

将Keras模型（HDF5格式）或通用TensorFlow模型（Protocol Buffer格式）转换的工具是Python模块tf2onnx。您可以在您的环境中通过以下命令安装它：

之后，您可以使用该模块的转换命令。例如，由于您已将Keras模型保存为HDF5格式，您可以使用以下命令将其转换为ONNX格式：

然后，会创建一个名为lenet5.onnx的文件。

要在OpenCV中使用它，您需要将模型加载到OpenCV中作为一个网络对象。如果是TensorFlow Protocol Buffer文件，有函数cv2.dnn.readNetFromTensorflow('frozen_graph.pb')可用。在这篇文章中，您使用的是ONNX文件。因此，应该是cv2.dnn.readNetFromONNX('model.onnx')

该模型假设输入为“blob”，您应该使用以下方式调用模型：

blob也是一个numpy数组，但重新格式化以添加批量维度。

在OpenCV中使用该模型只需要几行代码。例如，我们再次从TensorFlow数据集中获取图像，并检查所有测试集样本以计算模型准确率。

在OpenCV中运行神经网络模型与在TensorFlow中运行模型的区别在于，您需要分别执行输入分配和输出获取这两个步骤。

在上面的代码中，您将输出转换为“blob”，没有缩放和平移，因为模型就是这样训练的。您设置了单个图像的输入，输出将是一个 1×10 的数组。作为 softmax 输出，您使用 argmax 函数获得模型的预测。后续计算测试集的平均准确率很简单。上面的代码打印

总结

在这篇文章中，您学习了如何通过 OpenCV 的 dnn 模块使用神经网络。具体来说，您学习了

• 如何训练神经网络模型并将其转换为 ONNX 格式供 OpenCV 使用
• 如何在 OpenCV 中加载模型并运行模型

开始使用 OpenCV 进行机器学习！

学习如何在图像处理项目中使用机器学习技术

...以高级方式使用 OpenCV，超越像素处理

在我的新电子书中探索如何实现
OpenCV 机器学习

它提供带有所有可用 Python 代码的自学教程，让您从新手成长为专家。它为您提供了
逻辑回归、随机森林、支持向量机、k 均值聚类、神经网络等等……所有这些都使用 OpenCV 中的机器学习模块

通过动手练习开启你的深度学习之旅

查看内容