如何为时间序列预测进行深度学习模型的网格搜索

网格搜索通常不是我们可以使用深度学习方法执行的操作。

这是因为深度学习方法通常需要大量数据和大型模型，两者结合起来会导致模型需要数小时、数天甚至数周的训练时间。

在数据集较小的情况下，例如单变量时间序列，可能可以使用网格搜索来调整深度学习模型的超参数。

在本教程中，您将发现如何开发一个框架来对深度学习模型的超参数进行网格搜索。

完成本教程后，您将了解：

• 如何开发一个通用的网格搜索框架来调整模型超参数。
• 如何对航空旅客单变量时间序列预测问题上的多层感知机模型进行超参数网格搜索。
• 如何调整框架以对卷积神经网络和长短期记忆神经网络进行超参数网格搜索。

启动您的项目，阅读我的新书《时间序列预测的深度学习》，其中包含分步教程以及所有示例的Python源代码文件。

让我们开始吧。

• 更新于2019年5月：修复了代码中一个小小的重复赋值问题（感谢 Jameson）。

如何为时间序列预测进行深度学习模型的网格搜索
照片作者：Hannes Flo，保留部分权利。

教程概述

本教程分为五个部分；它们是：

1. 时间序列问题
2. 网格搜索框架
3. 网格搜索多层感知机
4. 网格搜索卷积神经网络
5. 网格搜索长短期记忆网络

时间序列问题

“月度航空旅客”数据集总结了1949年至1960年间某个航空公司每月国际旅客的总数（以千为单位）。

直接从这里下载数据集

• monthly-airline-passengers.csv

将文件另存为“monthly-airline-passengers.csv”并放在当前工作目录中。

我们可以使用 *read_csv()* 函数将此数据集加载为 Pandas 序列。

加载后，我们可以总结数据集的形状，以确定观测值的数量。

然后，我们可以绘制系列图，以了解系列的结构。

我们可以将所有这些结合起来；完整的示例如下所示。

运行示例首先会打印数据集的形状。

该数据集是月度的，有12年，即144个观测值。在我们的测试中，我们将使用最后一年，即12个观测值，作为测试集。

创建了折线图。该数据集具有明显的趋势和季节性成分。季节性成分的周期是12个月。

月度国际航空旅客折线图

在本教程中，我们将介绍用于网格搜索的工具，但我们不会针对此问题优化模型超参数。相反，我们将演示如何对深度学习模型超参数进行通用网格搜索，并找到比朴素模型更具技巧性的模型。

根据先前的实验，通过保持12个月前的值（相对索引 -12），朴素模型可以达到50.70的均方根误差（RMSE）（请记住单位是以千为单位的旅客）。

此朴素模型的性能提供了被认为是对此问题有技巧的模型的一个界限。任何在最后12个月的预测性能低于50.70的模型都被认为是有技巧的。

值得注意的是，经过调整的ETS模型可以达到17.09的RMSE，而经过调整的SARIMA模型可以达到13.89的RMSE。这些为对此问题经过良好调整的深度学习模型的期望提供了下限。

现在我们已经定义了问题和模型技巧的预期，我们可以着手定义网格搜索的测试环境。

网格搜索框架

在本节中，我们将开发一个网格搜索测试环境，该环境可用于评估不同神经网络模型（如MLP、CNN和LSTM）的超参数范围。

本节分为以下几个部分

1. 训练-测试集分割
2. 将序列视为监督学习
3. 逐时验证
4. 重复评估
5. 总结性能
6. 实例演示

训练-测试集分割

第一步是将加载的序列拆分为训练集和测试集。

我们将使用前11年（132个观测值）用于训练，最后12年用于测试集。

下面的train_test_split()函数将拆分序列，并将原始观测值和测试集中要使用的观测值数量作为参数。

将序列视为监督学习

接下来，我们需要能够将单变量序列的观测值构建成监督学习问题，以便我们可以训练神经网络模型。

将序列构建成监督学习问题意味着数据需要被分割成多个示例，模型可以从中学习并进行泛化。

每个样本都必须包含输入组件和输出组件。

输入组件将是一些先前的观测值，例如三年或36个时间步。

输出组件将是下个月的总销量，因为我们有兴趣开发一个模型来进行单步预测。

我们可以使用pandas DataFrame上的shift()函数来实现这一点。它允许我们将一列向下（向前）或向上（向后）移动。我们可以将序列作为数据列，然后创建该列的多个副本，向前或向后移动，以创建具有所需输入和输出元素的样本。

当序列向下移动时，会引入NaN值，因为我们在序列的开始之前没有值。

例如，定义为一列的序列

此列可以被移动并作为前一列插入

我们可以看到，在第二行，值1被提供为先前时间步的观测值，而2是序列中的下一个值，当1作为输入提供时，模型可以预测或学习预测它。

带有NaN值的行可以被移除。

下面的series_to_supervised()函数实现了这个行为，允许您指定输入中要使用的滞后观测值数量以及每个样本的输出中要使用的数量。它还会删除包含NaN值的行，因为这些行不能用于训练或测试模型。

逐时验证

时间序列预测模型可以使用前向验证在测试集上进行评估。

前向验证是一种方法，模型会逐一预测测试数据集中的每个观测值。在对测试数据集中的某个时间点进行预测后，该预测的真实观测值会被添加到测试数据集中，并提供给模型。

更简单的模型可以在后续预测之前用先前的观测值进行重新拟合。更复杂的模型，如神经网络，由于计算成本高昂，不进行重新拟合。

尽管如此，该时间点的真实观测值可以作为输入的一部分，用于对下一个时间点进行预测。

首先，数据集被拆分为训练集和测试集。我们将调用train_test_split()函数来执行此拆分，并传入预先指定的要用作测试数据的观测值数量。

对于给定的配置，模型将只在训练数据集上拟合一次。

我们将定义一个通用的model_fit()函数来执行此操作，该函数可以针对我们稍后可能感兴趣的给定类型的神经网络进行填充。该函数接受训练数据集和模型配置，并返回准备好进行预测的拟合模型。

测试数据集的每个时间步都会被枚举。使用拟合模型进行预测。

同样，我们将定义一个名为model_predict()的通用函数，该函数接受拟合模型、历史记录和模型配置，并进行一次单步预测。

预测值会被添加到预测列表中，而测试集中的真实观测值会被添加到观测值列表中，该列表以训练集中的所有观测值作为种子。该列表在预测验证的每个步骤中都会被构建起来，允许模型使用最近的历史记录进行单步预测。

然后，所有预测值都可以与测试集中的真实值进行比较，并计算误差度量。

我们将计算预测值和真实值之间的均方根误差（RMSE）。

RMSE计算为预测值和实际值之间平方差的平均值的平方根。measure_rmse()使用scikit-learn的mean_squared_error()函数来计算均方误差（MSE），然后再计算平方根。

将所有这些联系在一起的完整walk_forward_validation()函数如下所示。

它接受数据集、要用作测试集的观测值数量以及模型配置，并返回模型在测试集上的RMSE。

重复评估

神经网络模型是随机的。

这意味着，给定相同的模型配置和相同的训练数据集，每次训练模型时都会产生一组不同的内部权重，而这反过来又会产生不同的性能。

这是一个优势，允许模型具有适应性，并为复杂问题找到高性能的配置。

这也是在评估模型性能和选择最终模型以进行预测时的一个问题。

为了解决模型评估问题，我们将通过前向验证多次评估模型配置，并报告每次评估的平均误差。

这对于大型神经网络并不总是可行的，并且可能只对可以在几分钟或几小时内完成训练的小型网络有意义。

下面的repeat_evaluate()函数实现了这一点，并允许将重复次数指定为一个可选参数，默认值为10，并返回所有重复的平均RMSE分数。

网格搜索

现在我们已经有了测试环境的所有组成部分。

剩下的是一个驱动搜索的函数。我们可以定义一个grid_search()函数，该函数接受数据集、要搜索的配置列表以及要用作测试集的观测值数量，并执行搜索。

一旦为每个配置计算出平均分数，配置列表将按升序排序，以便最佳分数列在最前面。

完整的函数如下所示。

实例演示

现在我们已经定义了测试环境的各个组成部分，我们可以将它们全部联系起来并定义一个简单的持久化模型。

我们不需要拟合模型，所以model_fit()函数将被实现为简单地返回None。

我们将使用配置来定义一组先前观测值的索引偏移量，相对于要预测的时间，这些偏移量将用作预测。例如，12将使用要预测时间之前的12个月（相对偏移量-12）的观测值。

model_predict()函数可以被实现为使用此配置来持久化负相对偏移处的该值。

使用简单持久化模型使用框架的完整示例如下所示。

运行示例会打印出在最后12个月数据上使用前向验证评估的模型RMSE。

每个模型配置都评估了10次，尽管由于模型没有随机性，每次的分数都是相同的。

在运行结束时，会报告前三个性能最佳的模型配置及其RMSE。

我们可以预料到，保持一年前的值（相对偏移量-12）在持久化模型中获得了最佳性能。

现在我们有了用于网格搜索模型超参数的健壮测试环境，我们可以使用它来评估一系列神经网络模型。

网格搜索多层感知机

MLP有很多方面是我们可能想要调整的。

我们将定义一个非常简单的模型，带有一个隐藏层，并定义五个要调整的超参数。它们是

• n_input：用作模型输入的先前输入数量（例如，12个月）。
• n_nodes：隐藏层使用的节点数（例如，50）。
• n_epochs：训练轮数（例如，1000）。
• n_batch：每个小批量包含的样本数（例如，32）。
• n_diff：差分阶数（例如，0或12）。

现代神经网络可以处理原始数据，只需要很少的预处理，例如缩放和差分。尽管如此，对于时间序列数据，有时对序列进行差分可以使问题更容易建模。

回想一下，差分是将数据进行转换，即将先前观测值的值减去当前观测值，从而去除趋势或季节性结构。

我们将为网格搜索测试环境添加对差分的支持，以防它对您的特定问题有所帮助。它确实为内部航空旅客数据集增加了价值。

下面的difference()函数将计算给定阶数的差分。

差分是可选的，其中阶数为0表示不进行差分，而阶数为1或12则要求在拟合模型之前对数据进行差分，并且模型预测值在返回预测之前需要反向差分。

我们现在可以定义在测试环境中拟合MLP模型所需的元素。

首先，我们必须解包超参数列表。

接下来，我们必须准备数据，包括差分、将数据转换为监督格式，以及将数据样本的输入和输出部分分开。

现在，我们可以使用提供的配置来定义和拟合模型。

下面列出了model_fit()函数的完整实现。

前面选择的五个超参数绝不是模型中唯一或最好的要调整的超参数。您可以修改该函数来调整其他参数，例如添加更多隐藏层及其大小，以及更多内容。

模型拟合后，我们可以使用它来进行预测。

如果数据进行了差分处理，则必须对差分进行逆运算，以用于模型的预测。这包括将历史记录中相对于偏移量的值加回到模型预测的值上。

这也意味着必须对历史记录进行差分处理，以便用于进行预测的输入数据具有预期的形式。

准备好后，我们可以使用历史数据创建一个样本作为模型输入，以进行一步预测。

一个样本的形状必须是 [1, n_input]，其中 n_input 是选择的滞后观测值数量。

最后，可以进行预测。

下面列出了model_predict()函数的完整实现。

接下来，我们需要定义每个超参数要尝试的值范围。

我们可以定义一个model_configs()函数，该函数创建要尝试的不同参数组合列表。

我们将定义一小组配置作为示例，包括 12 个月的差分，我们预计这将是必需的。鼓励您尝试独立的模型，查看学习曲线诊断图，并利用领域信息来设置超参数的网格搜索值范围。

还鼓励您重复网格搜索，以缩小到看起来表现更好的值范围。

下面列出了model_configs()函数的实现。

现在，我们拥有了用于单变量时间序列预测问题的 MLP 模型网格搜索所需的所有组件。

完整的示例如下所示。

运行示例，我们可以看到框架将评估总共八种配置。

注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能有所不同。考虑运行示例几次并比较平均结果。

每种配置将评估 10 次；这意味着将使用前向验证创建和评估 10 个模型，以计算 RMSE 分数，然后在报告的 10 个分数的平均值用于对配置进行评分。

然后对分数进行排序，并报告具有最低 RMSE 的前 3 个配置。与报告 RMSE 为 50.70 的朴素模型相比，找到了一个有技能的模型配置。

我们可以看到，以 [12, 100, 100, 1, 12] 的配置实现了最佳 RMSE 18.98，这可以解释为

• n_input: 12
• n_nodes: 100
• n_epochs: 100
• n_batch: 1
• n_diff: 12

下面列出了网格搜索的截断示例输出。

网格搜索卷积神经网络

现在我们可以调整框架来网格搜索 CNN 模型。

与 MLP 模型一样，可以搜索的超参数集基本相同，只是隐藏层中的节点数可以被卷积层中的滤波器图数和核大小替换。

在 CNN 模型中选择的要网格搜索的超参数集如下：

• n_input：用作模型输入的先前输入数量（例如，12个月）。
• n_filters：卷积层中的滤波器图数（例如 32）。
• n_kernel：卷积层中的核大小（例如 3）。
• n_epochs：训练轮数（例如，1000）。
• n_batch：每个小批量包含的样本数（例如，32）。
• n_diff：差分阶数（例如，0或12）。

您可能希望研究的一些额外超参数是：在池化层之前使用两个卷积层，重复卷积和池化层模式，使用 dropout，以及更多。

我们将定义一个非常简单的 CNN 模型，其中包含一个卷积层和一个最大池化层。

数据必须像 MLP 一样进行准备。

与 MLP 期望输入数据的形状为 [samples, features] 不同，1D CNN 模型期望数据的形状为 [samples, timesteps, features]，其中 features 映射到通道，在这个例子中是 1，因为我们每个月测量一个变量。

下面列出了model_fit()函数的完整实现。

使用拟合的 CNN 模型进行预测与使用拟合的 MLP 模型进行预测非常相似。

同样，唯一的区别是，一个样本的输入数据必须具有三维形状。

下面列出了model_predict()函数的完整实现。

最后，我们可以定义一个模型要评估的配置列表。与之前一样，我们可以通过定义要尝试的超参数值列表来做到这一点，这些列表被组合成一个列表。我们将尝试少量配置，以确保示例在合理的时间内执行。

下面列出了完整的model_configs()函数。

现在，我们拥有了用于单变量时间序列预测的卷积神经网络超参数网格搜索所需的所有要素。

完整的示例如下所示。

运行示例，我们可以看到只有八种不同的配置被评估。

注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能有所不同。考虑运行示例几次并比较平均结果。

我们可以看到，[12, 64, 5, 100, 1, 12] 的配置实现了 18.89 的 RMSE，这与实现 50.70 的朴素预测模型相比是有技能的。

我们可以将此配置解包为

• n_input: 12
• n_filters: 64
• n_kernel: 5
• n_epochs: 100
• n_batch: 1
• n_diff: 12

下面列出了网格搜索的截断示例输出。

网格搜索长短期记忆网络

现在我们可以采用该框架来网格搜索 LSTM 模型的超参数。

LSTM 模型的超参数将与 MLP 的超参数相同，共五个；它们是

• n_input：用作模型输入的先前输入数量（例如，12个月）。
• n_nodes：隐藏层使用的节点数（例如，50）。
• n_epochs：训练轮数（例如，1000）。
• n_batch：每个小批量包含的样本数（例如，32）。
• n_diff：差分阶数（例如，0或12）。

我们将定义一个简单的LSTM模型，其中包含一个隐藏的LSTM层，节点的数量指定了该层中单元的数量。

探索调整其他配置可能会很有趣，例如使用双向输入层、堆叠LSTM层，甚至使用CNN或ConvLSTM输入模型的混合模型。

与CNN模型一样，LSTM模型期望输入数据的形状为三维：样本、时间步长和特征。

下面列出了model_fit()函数的完整实现。