何时使用 MLP、CNN 和 RNN 神经网络

哪种神经网络适合您的预测建模问题？

对于深度学习领域的初学者来说，了解使用哪种类型的网络可能很困难。有如此多种类型的网络可供选择，而且每天都有新的方法发布和讨论。

更糟糕的是，大多数神经网络足够灵活，即使与错误类型的数据或预测问题一起使用，它们也能正常工作（进行预测）。

在这篇文章中，您将了解三种主要类型的人工神经网络的建议用途。

阅读本文后，你将了解：

• 在处理预测建模问题时应关注哪些类型的神经网络。
• 何时在项目中使用、不使用以及可能尝试使用 MLP、CNN 和 RNN。
• 考虑使用混合模型，并在选择模型之前对您的项目目标有一个清晰的认识。

使用我的新书《使用 Python 进行深度学习》启动您的项目，包括分步教程和所有示例的 Python 源代码文件。

让我们开始吧。

何时使用 MLP、CNN 和 RNN 神经网络
图片由PRODAVID S. FERRY III,DDS 提供，保留部分权利。

概述

本文分为五个部分：

1. 要关注哪些神经网络？
2. 何时使用多层感知器？
3. 何时使用卷积神经网络？
4. 何时使用循环神经网络？
5. 混合网络模型

要关注哪些神经网络？

深度学习是使用现代硬件应用人工神经网络。

它允许开发、训练和使用比以前认为可能更大（更多层）的神经网络。

研究人员提出了数千种特定类型的神经网络，作为对现有模型的修改或调整。有时是全新的方法。

作为一名从业者，我建议等到模型普遍适用后再使用。从每天或每周发布的大量出版物的噪音中，很难分辨出哪些方法普遍有效。

我建议您通常关注三类人工神经网络。它们是

• 多层感知机 (MLP)
• 卷积神经网络 (CNN)
• 循环神经网络 (RNNs)

这三类网络提供了很大的灵活性，并已证明在几十年来在广泛的问题中都很有用和可靠。它们也有许多子类型，以帮助它们专门处理不同预测问题框架和不同数据集的怪癖。

现在我们知道了要关注哪些网络，接下来看看何时可以使用每类神经网络。

何时使用多层感知器？

多层感知器，简称 MLP，是经典类型的神经网络。

它们由一层或多层神经元组成。数据被输入到输入层，可能有一个或多个提供抽象级别的隐藏层，并在输出层（也称为可见层）进行预测。

有关 MLP 的更多详细信息，请参阅文章

• 多层感知器神经网络速成课程

简单网络模型

MLP 适用于将输入分配给类或标签的分类预测问题。

它们也适用于回归预测问题，其中给定一组输入来预测实数值。数据通常以表格格式提供，例如您在 CSV 文件或电子表格中看到的那样。

MLP 的用途

• 表格数据集
• 分类预测问题
• 回归预测问题

它们非常灵活，通常可用于学习从输入到输出的映射。

这种灵活性允许它们应用于其他类型的数据。例如，图像的像素可以简化为一行长数据并输入到 MLP 中。文档的单词也可以简化为一行长数据并输入到 MLP 中。即使时间序列预测问题的滞后观测值也可以简化为一行长数据并输入到 MLP 中。

因此，如果您的数据不是表格数据集形式，例如图像、文档或时间序列，我建议您至少在您的问题上测试 MLP。结果可以作为基线比较点，以确认其他可能更适合的模型是否增加了价值。

尝试使用 MLP 处理

• 图像数据
• 文本数据
• 时间序列数据
• 其他类型的数据

何时使用卷积神经网络？

卷积神经网络，简称 CNN，旨在将图像数据映射到输出变量。

它们已被证明非常有效，成为涉及图像数据作为输入的任何类型预测问题的首选方法。

有关 CNN 的更多详细信息，请参阅文章

• 机器学习卷积神经网络速成课程

使用 CNN 的好处是它们能够开发二维图像的内部表示。这使得模型能够学习数据中位置和尺度不变的结构，这在处理图像时很重要。

CNN 的用途

• 图像数据
• 分类预测问题
• 回归预测问题

更普遍地说，CNN 适用于具有空间关系的数据。

CNN 输入传统上是二维的，一个场或矩阵，但也可以更改为一维，从而使其能够开发一维序列的内部表示。

这使得 CNN 可以更普遍地用于其他具有空间关系的数据类型。例如，文本文档中的单词之间存在顺序关系。时间序列的时间步长中存在有序关系。

尽管 CNN 并非专门为非图像数据开发，但在情感分析和相关问题中使用的文档分类等问题上，CNN 取得了最先进的成果。

尝试使用 CNN 处理

• 文本数据
• 时间序列数据
• 序列输入数据

何时使用循环神经网络？

循环神经网络，简称 RNN，旨在处理序列预测问题。

序列预测问题有多种形式，最好通过支持的输入和输出类型来描述。

序列预测问题的一些示例包括

• 一对多：将一个观测值作为输入映射到具有多个步骤的序列作为输出。
• 多对一：将具有多个步骤的序列作为输入映射到类别或数量预测。
• 多对多：将具有多个步骤的序列作为输入映射到具有多个步骤的序列作为输出。

多对多问题通常被称为序列到序列，简称 seq2seq。

有关序列预测问题类型的更多详细信息，请参阅文章

• 循环神经网络序列预测模型的温和介绍

循环神经网络传统上难以训练。

长短期记忆（LSTM）网络可能是最成功的 RNN，因为它克服了训练循环网络的问题，因此已被广泛应用于各种应用程序。

有关 RNN 的更多详细信息，请参阅文章

• 深度学习循环神经网络速成课程

RNN，特别是 LSTM，在处理单词和段落序列（通常称为自然语言处理）时取得了最大的成功。

这包括文本序列和表示为时间序列的口语序列。它们还用作需要序列输出的生成模型，不仅用于文本，还用于生成手写等应用程序。

RNN 的用途

• 文本数据
• 语音数据
• 分类预测问题
• 回归预测问题
• 生成模型

循环神经网络不适用于您在 CSV 文件或电子表格中看到的表格数据集。它们也不适用于图像数据输入。

不要将 RNN 用于

• 表格数据
• 图像数据

RNN 和 LSTM 已在时间序列预测问题上进行了测试，但结果至少可以说是差强人意。自回归方法，甚至线性方法通常表现更好。LSTM 经常被应用于相同数据的简单 MLP 击败。

有关此主题的更多信息，请参阅此帖子

• 关于长短期记忆网络在时间序列预测中的适用性

尽管如此，这仍然是一个活跃的领域。

也许在以下方面尝试 RNN

• 时间序列数据

混合网络模型

CNN 或 RNN 模型很少单独使用。

这些类型的网络作为更广泛模型中的层使用，该模型还具有一个或多个 MLP 层。从技术上讲，这些是混合类型神经网络架构。

也许最有趣的工作来自于将不同类型的网络混合在一起形成混合模型。

例如，考虑一个模型，它使用堆叠层，输入端是 CNN，中间是 LSTM，输出端是 MLP。这样的模型可以读取一系列图像输入，例如视频，并生成预测。这被称为CNN LSTM 架构。

网络类型还可以堆叠在特定的架构中，以解锁新的功能，例如可重用的图像识别模型，它们使用非常深的 CNN 和 MLP 网络，可以添加到新的 LSTM 模型中并用于图片标注。此外，编码器-解码器 LSTM 网络可用于输入和输出长度不同的序列。

重要的是首先清晰地思考您和您的利益相关者对项目的要求，然后寻找（或开发）满足您特定项目需求的网络架构。

有关帮助您思考数据和预测问题的良好框架，请参阅文章

• 如何定义你的机器学习问题

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

• 什么是深度学习？
• 多层感知器神经网络速成课程
• 机器学习卷积神经网络速成课程
• 深度学习循环神经网络速成课程
• 循环神经网络序列预测模型的温和介绍
• 如何定义你的机器学习问题

总结

在这篇文章中，您了解了三种主要类型的人工神经网络的建议用途。

具体来说，你学到了：

• 在处理预测建模问题时应关注哪些类型的神经网络。
• 何时在项目中使用、不使用以及可能尝试使用 MLP、CNN 和 RNN。
• 考虑使用混合模型，并在选择模型之前对您的项目目标有一个清晰的认识。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。