比较用于时间序列预测的经典算法和机器学习算法

机器学习和深度学习方法常被认为是所有预测建模问题的关键解决方案。

最近一项重要的研究评估并比较了许多经典和现代机器学习及深度学习方法在超过1000个单变量时间序列预测问题的大量且多样化数据集上的性能。

这项研究的结果表明，简单的经典方法，如线性方法和指数平滑，优于复杂精巧的方法，如决策树、多层感知器（MLP）和长短期记忆（LSTM）网络模型。

这些发现强调了在评估任何机器学习和深度学习方法进行时间序列预测时，既要评估经典方法，又要将它们的结果用作基线，以证明其增加的复杂性确实提升了预测技能。

在这篇文章中，您将了解到这项最近研究的重要发现，该研究评估并比较了经典和现代机器学习方法在大量且多样化的时间序列预测数据集上的性能。

阅读本文后，你将了解：

• 对于单变量数据集上的一步预测，ETS和ARIMA等经典方法优于机器学习和深度学习方法。
• 对于单变量数据集上的多步预测，Theta和ARIMA等经典方法优于机器学习和深度学习方法。
• 机器学习和深度学习方法在单变量时间序列预测方面的承诺尚未兑现，仍有大量工作要做。

通过我的新书《深度学习时间序列预测》**启动您的项目**，其中包括**分步教程**和所有示例的**Python源代码**文件。

让我们开始吧。

时间序列预测中经典方法与机器学习方法的比较发现
图片由Lyndon Hatherall拍摄，保留部分权利。

概述

Spyros Makridakis等人于2018年发表了一项研究，题为“统计与机器学习预测方法：问题与前景”。

在这篇文章中，我们将仔细研究Makridakis等人进行的这项研究，该研究仔细评估并比较了经典时间序列预测方法与现代机器学习方法的性能。

本文分为七个部分；它们是：

1. 研究动机
2. 时间序列数据集
3. 时间序列预测方法
4. 数据准备
5. 一步预测结果
6. 多步预测结果
7. 结论

研究动机

这项研究的目标是清晰地展示一套不同机器学习方法与经典时间序列预测方法在大量且多样化的单变量时间序列预测问题上的能力。

这项研究是对关于机器学习和深度学习方法能为时间序列预测提供更优结果的论文和主张日益增多的回应，这些主张却鲜有客观证据支持。

数以百计的论文提出了新的机器学习算法，暗示着方法论的进步和准确性的提高。然而，关于它们作为标准预测工具的相对性能，客观证据有限。

— 统计与机器学习预测方法：问题与前景，2018年。

作者清晰地阐述了关于大量主张的三个问题；它们是：

• 他们的结论基于少量甚至单一时间序列，这引发了对结果统计显著性及其泛化能力的质疑。
• 这些方法仅针对短期预测范围进行评估，通常是一步提前预测，而未考虑中长期预测。
• 没有使用基准来比较机器学习方法与替代方法的准确性。

作为回应，该研究包含了八种经典方法和十种机器学习方法，在1045个月度时间序列的集合中，使用一步和多步预测进行了评估。

尽管并非决定性的，但这些结果旨在客观且可靠。

时间序列数据集

研究中使用的时间序列数据集来源于M3竞赛所用的时间序列数据集。

M3竞赛是系列竞赛中的第三届，旨在发现哪些算法在实际时间序列预测问题中表现良好。竞赛结果发表在2000年的论文《M3竞赛：结果、结论和启示》中。

竞赛中使用的数据集涵盖了广泛的行业，并且具有不同的时间间隔，从小时到年度不等。

M3竞赛的3003个系列是按配额选取的，旨在包含各种类型的时间序列数据（微观、行业、宏观等）以及连续观测值之间不同的时间间隔（年度、季度等）。

下表摘自该论文，总结了竞赛中使用的3003个数据集。

M3竞赛中使用的数据集、行业和时间间隔表
摘自《M3竞赛：结果、结论和启示》。

竞赛的发现是，简单的时间序列预测方法优于更复杂的方法，包括神经网络模型。

这项研究、前两次M-竞赛以及许多其他实证研究已经毫无疑问地证明，精心设计的理论结构或更复杂的方法不一定能提高样本外的预测准确性，即使它们能更好地拟合统计模型到可用的历史数据。

— M3竞赛：结果、结论和启示，2000年。

我们在这篇文章中回顾的最近一项评估机器学习方法的研究，从M3竞赛中使用的数据集中选取了1045个具有月度间隔的时间序列的子集。

… 在多个预测范围中评估此类性能，使用M3竞赛中使用的1045个月度时间序列的大型子集。

— 统计与机器学习预测方法：问题与前景，2018年。

时间序列预测方法

该研究评估了八种经典（或更简单）方法和十种机器学习方法的性能。

… 八种传统统计方法和八种流行的机器学习方法，[…]，外加两种近年来变得流行的机器学习方法。

— 统计与机器学习预测方法：问题与前景，2018年。

评估的八种经典方法如下：

• Naive 2，实际上是针对季节性调整的随机游走模型。
• 简单指数平滑。
• Holt。
• 阻尼指数平滑。
• SES、Holt和阻尼方法的平均值。
• Theta 方法。
• ARIMA，自动。
• ETS，自动。

共使用了八种机器学习方法，旨在重现并与2010年论文《时间序列预测中机器学习模型的实证比较》中提出的结果进行比较。

它们是：

• 多层感知器（MLP）
• 贝叶斯神经网络（BNN）
• 径向基函数（RBF）
• 广义回归神经网络（GRNN），也称为核回归
• K近邻回归（KNN）
• CART回归树（CART）
• 支持向量回归（SVR）
• 高斯过程（GP）

鉴于其最近的采用率上升，列表中还增加了两种“现代”神经网络算法；它们是：

• 循环神经网络（RNN）
• 长短期记忆网络（LSTM）

数据准备

再次地，采用了基于2010年论文《时间序列预测中机器学习模型的实证比较》中描述的方法论，进行仔细的数据准备。

在该论文中，每个时间序列都经过幂变换、去季节化和去趋势化调整。

[…] 在计算18个预测值之前，他们对序列进行了预处理，以使其均值和方差达到平稳性。这通过对数变换、去季节化以及最后的缩放来完成，同时还考虑了差分来去除趋势成分。

— 统计与机器学习预测方法：问题与前景，2018年。

受这些操作的启发，对MLP应用了五种不同数据变换的变体进行一步预测，并比较了它们的结果。这五种变换是：

• 原始数据。
• Box-Cox幂变换。
• 数据去季节化。
• 数据去趋势化。
• 所有三种变换（幂、去季节化、去趋势化）。

通常发现，最好的方法是应用幂变换并对数据进行去季节化，可能还需要对序列进行去趋势化。

根据sMAPE，最佳组合是第7种（Box-Cox变换、去季节化），而根据MASE，最佳组合是第10种（Box-Cox变换、去季节化和去趋势化）。

— 统计与机器学习预测方法：问题与前景，2018年。

一步预测结果

所有模型都通过一步时间序列预测进行评估。

具体而言，最后18个时间步长被用作测试集，模型在所有剩余观测值上进行拟合。对测试集中的18个观测值分别进行了一步预测，可能使用了步进式验证方法，其中真实观测值被用作输入以进行每次预测。

预测模型使用前n-18个观测值（其中n是序列的长度）进行开发。然后，生成了18个预测值，并将其准确性与未用于开发预测模型的实际值进行比较。

— 统计与机器学习预测方法：问题与前景，2018年。

回顾结果，发现MLP和BNN在所有机器学习方法中表现最佳。

结果[...]显示MLP和BNN优于其余的ML方法。

— 统计与机器学习预测方法：问题与前景，2018年。

一个令人惊讶的结果是，RNN和LSTM表现不佳。

应该指出的是，RNN是准确性较低的机器学习方法之一，这表明研究进展不一定能保证预测性能的提高。这一结论也适用于LSTM的性能，这是另一种流行且更先进的机器学习方法，它也没有提高预测准确性。

— 统计与机器学习预测方法：问题与前景，2018年。

比较所有方法的性能，发现机器学习方法的表现均不及简单的经典方法，其中ETS和ARIMA模型整体表现最佳。

这一发现证实了以往类似研究和竞赛的结果。

一步预测模型性能（sMAPE）比较柱状图
摘自《统计与机器学习预测方法：问题与前景》。

多步预测结果

多步预测涉及预测比最后已知观测值提前多个步长。

针对机器学习方法，评估了三种多步预测方法；它们是：

• 迭代预测
• 直接预测
• 多神经网络预测

结果发现，经典方法再次优于机器学习方法。

在这种情况下，Theta、ARIMA以及指数平滑组合（Comb）等方法表现最佳。

简而言之，统计模型似乎在所有预测范围上普遍优于机器学习方法，其中Theta、Comb和ARIMA根据所检查的两种误差度量标准，在竞争者中占据主导地位。

— 统计与机器学习预测方法：问题与前景，2018年。

结论

该研究提供了重要的支持证据，表明经典方法可能在单变量时间序列预测中占据主导地位，至少在评估的预测问题类型上是如此。

该研究表明，机器学习和深度学习方法在单变量时间序列预测中，无论是单步预测还是多步预测，性能都较差，并且计算成本更高。

这些发现强烈鼓励在探索更复杂方法之前，首先使用ETS、ARIMA等经典方法，并要求将这些简单方法的结果用作性能基线，更复杂的方法必须超越此基线才能证明其使用是合理的。

它还强调了不仅要考虑数据准备方法的谨慎使用，而且要积极测试针对特定问题的多种不同数据准备方案组合，以发现何种方案最有效，即使对于经典方法也是如此。

机器学习和深度学习方法在特定的单变量时间序列问题上可能仍然能达到更好的性能，因此应进行评估。

该研究未涉及更复杂的时间序列问题，例如包含以下特点的数据集：

• 复杂的不规则时间结构。
• 缺失观测值。
• 严重的噪声。
• 多个变量之间复杂的相互关系。

该研究以一种诚实的困惑结束，即机器学习方法在其他人工智能领域表现出色，但在实践中为何如此糟糕。

最有趣的问题和最大的挑战是找出其性能不佳的原因，目标是提高其准确性并利用其巨大潜力。人工智能学习算法已彻底改变了各个领域广泛的应用，没有理由机器学习方法不能在预测中实现同样的目标。因此，我们必须找到如何应用它们以提高其更准确地预测的能力。

— 统计与机器学习预测方法：问题与前景，2018年。

作者对LSTM和RNN发表了评论，这些通常被认为是序列预测问题的深度学习方法，但在这种情况下，它们在实践中的表现明显不佳。

[…]人们会期望RNN和LSTM，作为更高级的NN类型，比ARIMA和其余统计方法更准确。

— 统计与机器学习预测方法：问题与前景，2018年。

他们评论说，LSTM似乎更适合拟合或过拟合训练数据集，而非预测它。

另一个有趣的例子是LSTM，与RNN和MLP等更简单的NN相比，它报告了更好的模型拟合度但更差的预测准确性。

— 统计与机器学习预测方法：问题与前景，2018年。

仍有工作要做，机器学习方法和深度学习方法有望比经典统计方法更好地学习时间序列数据，甚至通过自动特征学习直接在原始观测数据上进行学习。

鉴于其学习能力，机器学习方法应优于简单的基准，如指数平滑。接受问题是制定可行解决方案的第一步，我们希望人工智能和机器学习领域的人员能够接受这些实证发现，并努力提高其方法的预测准确性。

— 统计与机器学习预测方法：问题与前景，2018年。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

• Makridakis 竞赛，维基百科
• M3竞赛：结果、结论和启示, 2000.
• M4竞赛：结果、发现、结论和前景, 2018.
• 统计与机器学习预测方法：问题与前景, 2018.
• 时间序列预测中机器学习模型的实证比较, 2010.

总结

在这篇文章中，您了解了一项最新研究的重要发现，该研究评估并比较了经典和现代机器学习方法在大量多样化的时间序列预测数据集上的性能。

具体来说，你学到了：

• 对于单变量数据集上的一步预测，ETS和ARIMA等经典方法优于机器学习和深度学习方法。
• 对于单变量数据集上的多步预测，Theta和ARIMA等经典方法优于机器学习和深度学习方法。
• 机器学习和深度学习方法尚未兑现其在单变量时间序列预测方面的承诺，仍有大量工作要做。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发时间序列深度学习模型！

在几分钟内开发您自己的预测模型

...只需几行python代码

在我的新电子书中探索如何实现
用于时间序列预测的深度学习

它提供关于以下主题的自学教程：
CNN、LSTM、多元预测、多步预测等等...

最终将深度学习应用于您的时间序列预测项目

跳过学术理论。只看结果。

查看内容