如何为时间序列预测回测机器学习模型

k折交叉验证不适用于时间序列数据，以及
您可以用来替代的技术。

时间序列预测的目标是对未来做出准确的预测。

在机器学习中，我们所依赖的快速而强大的方法，例如使用训练-测试集分割和k折交叉验证，不适用于时间序列数据。这是因为它们忽略了问题中固有的时间成分。

在本教程中，您将学习如何使用Python评估时间序列数据上的机器学习模型。在时间序列预测领域，这被称为回测或后测。

完成本教程后，您将了解：

• 传统机器学习模型评估方法的局限性以及为什么需要对样本外数据进行模型评估。
• 如何在Python中创建时间序列数据的训练-测试集分割和多重训练-测试集分割，以进行模型评估。
• 步进式验证如何为时间序列数据上的机器学习模型提供最真实的评估。

通过我的新书《使用Python进行时间序列预测》**启动您的项目**，其中包括**分步教程**和**所有示例的Python源代码**文件。

让我们开始吧。

• 2019 年 4 月更新：更新了数据集链接。
• **2019年8月更新**：修复了步进式验证中使用的模型数量的一个小错字（感谢Eliav）。
• 2019年8月更新：更新了数据加载以使用新的API。

如何为时间序列预测回测机器学习模型
图片来自Nasa，保留部分权利。

模型评估

我们如何知道给定模型的好坏？

我们可以用用于训练它的数据来评估它。这将是无效的。它可能会提供对所选模型如何工作甚至如何改进的见解。但是，对这些数据的任何性能估计都将是乐观的，并且基于此性能做出的任何决策都将是有偏见的。

为什么？

把它推向极端是有帮助的

一个能记住每个观测的时间戳和值的模型
将实现完美的性能。

我们准备的所有真实模型都将报告这一结果的苍白版本。

在评估时间序列预测模型时，我们关注的是模型在未用于训练它的数据上的性能。在机器学习中，我们称之为未见过或样本外数据。

我们可以通过分割我们已有的数据来实现这一点。我们使用一部分数据来准备模型，并保留一部分数据，要求模型对该时期进行预测。对这些预测的评估将很好地近似模型在实际使用时的表现。

在应用机器学习中，我们通常将数据分为训练集和测试集：训练集用于准备模型，测试集用于评估模型。我们甚至可以使用k折交叉验证，它通过系统地将数据分成k组来重复此过程，每组都有机会成为保留模型。

这些方法不能直接用于时间序列数据。

这是因为它们假定观测值之间没有关系，每个观测值都是独立的。

这不适用于时间序列数据，因为观测值的时间维度意味着我们不能随机将它们分组。相反，我们必须将数据分割并尊重值被观测到的时间顺序。

在时间序列预测中，对历史数据上的模型评估称为回测。在某些时间序列领域，例如气象学，这被称为后测，而不是预测。

我们将介绍三种不同的方法，您可以用来回测时间序列问题上的机器学习模型。它们是：

1. **训练-测试集分割**，它尊重观测值的时间顺序。
2. **多重训练-测试集分割**，它尊重观测值的时间顺序。
3. **步进式验证**，在每次接收到新数据时模型都可以更新。

首先，让我们看看一个小的单变量时间序列数据，我们将用它作为理解这三种回测方法的背景：太阳黑子数据集。

月太阳黑子数据集

该数据集描述了 230 多年（1749-1983 年）每月观测到的太阳黑子数量。

单位是计数，有2,820个观测值。数据集的来源被认为是Andrews & Herzberg (1985)。

• 下载数据集.

以下是数据的前 5 行样本，包括标题行。

以下是整个数据集的图。

月太阳黑子数据集

该数据集显示出季节性，不同季节之间存在较大差异。

下载数据集并将其保存到当前工作目录中，文件名为“*sunspots.csv*”。

• 下载数据集.

加载太阳黑子数据集

我们可以使用Pandas加载太阳黑子数据集。

运行示例将打印数据的前5行。

数据集也已绘制。

太阳黑子数据集图

训练-测试集分割

您可以将数据集分成训练和测试子集。

您的模型可以在训练数据集上准备，并对测试数据集进行预测和评估。

这可以通过在观测值的有序列表中选择一个任意分割点并创建两个新数据集来完成。根据您可用数据的数量和所需数据的数量，您可以使用50-50、70-30和90-10的分割。

在Python中分割数据很简单。

将数据集作为Pandas Series加载后，我们可以提取数据值的NumPy数组。分割点可以计算为数组中的特定索引。所有达到分割点的记录都作为训练数据集，所有从分割点到观测值列表末尾的记录都作为测试集。

下面是使用66-34分割的Python示例。

运行示例将打印加载数据集的大小以及从分割创建的训练集和测试集的大小。

我们可以通过使用不同颜色绘制训练集和测试集来实现视觉化。

运行示例会将训练数据集绘制为蓝色，测试数据集绘制为绿色。

太阳黑子数据集训练-测试集分割

使用训练-测试集分割方法评估机器学习模型是快速的。数据准备简单直观，并且只创建一个模型进行评估。

当您拥有大量数据时，它非常有用，这样训练集和测试集都能代表原始问题。

接下来，我们将探讨多次重复此过程。

多重训练-测试集分割

我们可以多次重复将时间序列分割成训练集和测试集的过程。

这将需要训练和评估多个模型，但是这种额外的计算开销将提供对所选方法和配置在未见数据上预期性能的更可靠估计。

我们可以通过使用不同的分割点重复上一节中描述的过程来手动完成此操作。

另外，scikit-learn库通过*TimeSeriesSplit*对象为我们提供了此功能。

您必须指定要创建的分割数量，并且*TimeSeriesSplit*将返回每个请求分割的训练和测试观测值的索引。

每次分割迭代（*i*）的总训练和测试观测值计算如下：

其中*n_samples*是观测值的总数，*n_splits*是分割的总数。

我们通过一个例子来具体说明这一点。假设我们有100个观测值，并且我们想要创建2个分割。

对于第一次分割，训练和测试大小将计算如下：

或者前33条记录用于训练，接下来的33条记录用于测试。

第二次分割计算如下：

或者，前67条记录用于训练，其余33条记录用于测试。

你可以看到测试集的大小保持一致。这意味着在每个训练模型的预测上计算的性能统计数据将保持一致，并且可以组合和比较。它提供了公平的比较。

不同的是每次分割用于训练模型的记录数量，提供了越来越大的历史数据可供使用。这可能会成为结果分析的一个有趣方面。另外，这也可以通过保持用于训练模型的观测值数量一致，并且每次分割只使用训练数据集中相同数量的最新（最后）观测值来训练模型（在这个人为的例子中是33个）来控制。

让我们看看如何将TimeSeriesSplit应用于我们的太阳黑子数据。

数据集有2,820个观测值。让我们为数据集创建3个分割。使用与上述相同的算术，我们期望创建以下训练和测试分割：

• **分割1**：705个训练，705个测试
• **分割2**：1,410个训练，705个测试
• **分割3**：2,115个训练，705个测试

与之前的示例一样，我们将使用不同的颜色绘制训练和测试观测值。在这种情况下，我们将有3个分割，因此将有3个单独的数据图。

运行示例将打印每个分割的训练集和测试集的数量和大小。

我们可以看到，每个分割中训练集和测试集中的观测值数量与使用上述简单算术计算出的预期值相符。

该图还显示了3个分割以及每个后续图中不断增长的总观测值数量。

太阳黑子数据集多重训练-测试集分割

使用多个训练-测试集分割将导致训练更多模型，从而更准确地估计模型在未见数据上的性能。

训练-测试集分割方法的一个局限性是，训练好的模型在测试集中的每次评估中都保持不变。

这可能不切实际，因为模型可以随着新的每日或每月观测值的可用而重新训练。这个问题将在下一节中解决。

步进式验证

在实践中，我们很可能会在有新数据可用时重新训练模型。

这将使模型在每个时间步都有最好的机会做出良好的预测。我们可以根据这个假设评估我们的机器学习模型。

需要做出几个决定：

1. **最小观测值数量**。首先，我们必须选择训练模型所需的最小观测值数量。如果使用滑动窗口（见下一点），这可以被认为是窗口宽度。
2. **滑动或扩展窗口**。接下来，我们需要决定模型是将在所有可用数据上训练，还是仅在最近的观测值上训练。这决定了将使用滑动窗口还是扩展窗口。

在为您的测试设置选择合适的配置后，可以训练和评估模型。

1. 从时间序列的开头开始，窗口中的最小样本数用于训练模型。
2. 模型对下一个时间步进行预测。
3. 预测被存储或与已知值进行评估。
4. 窗口扩展以包含已知值，并重复该过程（转到步骤1）。

由于这种方法涉及一次一个时间步地沿着时间序列移动，因此通常被称为步进式测试（Walk Forward Testing）或步进式验证（Walk Forward Validation）。此外，由于使用滑动或扩展窗口来训练模型，因此该方法也称为滚动窗口分析（Rolling Window Analysis）或滚动预测（Rolling Forecast）。

此功能目前在scikit-learn中尚不可用，尽管您可以通过精心配置的TimeSeriesSplit来实现相同的效果。

下面是一个如何使用步进式验证方法将数据分割成训练集和测试集的示例。

运行示例只打印创建的训练集和测试集的大小。我们可以看到训练集在每个时间步都在扩展，而测试集固定为一个时间步。

循环中是您训练和评估模型的地方。

可以看到，创建了更多的模型。

这再次具有提供对所选建模方法和参数在实践中如何执行的更稳健估计的好处。这种改进的估计是以创建如此多模型的计算成本为代价的。

如果建模方法简单或数据集较小（如本例），这并不昂贵，但在大规模时可能会成为问题。在上述情况下，将创建和评估2,320（或2,820 – 500）个模型。

因此，需要仔细注意窗口宽度和窗口类型。可以调整这些参数，以便为您的项目设计一个计算成本显著降低的测试工具。

步进式验证是模型评估的黄金标准。它是时间序列领域的k折交叉验证，推荐用于您自己的项目。

进一步阅读

• sklearn.model_selection.TimeSeriesSplit API文档
• 时间序列模型的滚动窗口分析，了解更多关于滚动窗口的信息。
• 维基百科上的回测，了解更多关于回测的信息。

总结

在本教程中，您学习了如何使用 Python 对时间序列数据上的机器学习模型进行回测。

具体来说，你学到了：

• 关于评估模型在未见或样本外数据上的性能的重要性。
• 如何创建时间序列数据的训练-测试集分割，以及如何自动创建多个此类分割。
• 如何使用步进式验证为您的模型评估提供最真实的测试工具。

您对评估时间序列模型或本教程有任何疑问吗？
在下面的评论中提出你的问题，我会尽力回答。

想用Python开发时间序列预测吗？

几分钟内开发您自己的预测

...只需几行python代码

在我的新电子书中探索如何实现
Python 时间序列预测入门

它涵盖了**自学教程**和**端到端项目**，主题包括：*数据加载、可视化、建模、算法调优*等等。

最终将时间序列预测带入
您自己的项目

跳过学术理论。只看结果。

查看内容