用序列进行预测

序列预测不同于其他类型的监督学习问题。

序列对观测值施加了顺序，在训练模型和进行预测时必须保留该顺序。

通常，涉及序列数据​​的预测问题被称为序列预测问题，尽管存在根据输入和输出序列而不同的系列问题。

在本教程中，您将了解不同类型的序列预测问题。

完成本教程后，您将了解：

• 4种序列预测问题类型。
• 专家对每种序列预测问题类型的定义。
• 每种序列预测问题类型的真实世界示例。

通过我的新书《使用Python的长短期记忆网络》启动您的项目，其中包括逐步教程和所有示例的Python源代码文件。

让我们开始吧。

序列预测入门
照片由abstrkt.ch提供，部分权利保留。

教程概述

本教程分为5个部分，它们是：

1. 序列
2. 序列预测
3. 序列分类
4. 序列生成
5. 序列到序列预测

序列

在应用机器学习中，我们经常处理集合，例如样本的训练集或测试集。

集合中的每个样本都可以被视为来自该领域的一个观测值。

在一个集合中，观测值的顺序并不重要。

序列则不同。序列对观测值施加了明确的顺序。

顺序很重要。在使用序列数据作为模型输入或输出的预测问题 формулировать 时，必须尊重该顺序。

序列预测

序列预测涉及预测给定输入序列的下一个值。

例如：

• 给定：1, 2, 3, 4, 5
• 预测：6

序列预测问题示例

序列预测试图根据前序元素来预测序列中的元素

——《序列学习：从识别和预测到顺序决策》，2001年。

预测模型使用一组训练序列进行训练。一旦训练完成，该模型将用于执行序列预测。预测包括预测序列的下一项。这项任务有许多应用，例如网页预取、消费品推荐、天气预报和股市预测。

——《CPT+：降低紧凑预测树的时间/空间复杂度》，2015年

序列预测通常也可以称为“序列学习”。

序列数据的学习仍然是模式识别和机器学习中的一个基本任务和挑战。涉及序列数据的应用可能需要预测新事件、生成新序列或做出决策，例如序列或子序列的分类。

—《关于使用变阶马尔可夫模型进行预测》，2004年。

技术上，我们可以将这篇文章中的所有以下问题都称为一种序列预测问题。这可能会让初学者感到困惑。

序列预测的一些示例包括

• 天气预报。给定一系列关于天气随时间变化的观测数据，预测明天的预期天气。
• 股市预测。给定一段时间内证券价格波动的序列，预测证券的下一次波动。
• 产品推荐。给定客户过去的购买序列，预测客户的下一次购买。

序列分类

序列分类涉及为给定输入序列预测一个类别标签。

例如：

• 给定：1, 2, 3, 4, 5
• 预测：“好”或“坏”

序列分类问题示例

序列分类的目标是使用标记数据集 D 构建分类模型，以便该模型可以用于预测未见序列的类别标签。

— 第14章，《数据分类：算法与应用》，2015年

输入序列可以由实数值或离散值组成。在后一种情况下，此类问题可能被称为离散序列分类。

序列分类的一些例子包括

• DNA序列分类。给定由ACGT值组成的DNA序列，预测该序列编码的是编码区还是非编码区。
• 异常检测。给定一个观测序列，预测该序列是否异常。
• 情感分析。给定一段文本序列，例如评论或推文，预测该文本的情感是积极的还是消极的。

序列生成

序列生成涉及生成一个新的输出序列，该序列具有与语料库中其他序列相同的普遍特征。

例如：

• 给定：[1, 3, 5], [7, 9, 11]
• 预测：[3, 5 ,7]

[递归神经网络]可以通过一次处理真实数据序列并预测接下来会发生什么来训练序列生成。假设预测是概率性的，可以通过从网络的输出分布中迭代采样，然后将样本作为下一步的输入，从训练好的网络中生成新序列。换句话说，让网络将其发明视为真实的东西，就像一个人做梦一样。

——《使用递归神经网络生成序列》，2013年。

序列生成问题的一些示例包括

• 文本生成。给定一个文本语料库，例如莎士比亚的作品，生成新的句子或段落，使其读起来像莎士比亚的风格。
• 手写预测。给定一个手写示例语料库，为具有语料库中手写特征的新短语生成手写。
• 音乐生成。给定一个音乐示例语料库，生成具有语料库特征的新音乐作品。

序列生成也可以指给定单个观测值作为输入来生成序列。

一个例子是图像的自动文本描述。

• 图像字幕生成。给定一张图像作为输入，生成描述该图像的词序列。

序列生成问题示例

能够使用正确构造的英语句子自动描述图像内容是一项非常具有挑战性的任务，但它可能产生巨大影响，例如通过帮助视障人士更好地理解网络上的图像内容。[……] 事实上，描述不仅要捕捉图像中包含的物体，还要表达这些物体之间的关系以及它们的属性和所参与的活动。此外，上述语义知识必须以英语等自然语言表达，这意味着除了视觉理解之外，还需要一个语言模型。

——《展示与讲述：一个神经图像字幕生成器》，2015年

序列到序列预测

序列到序列预测涉及给定输入序列来预测输出序列。

例如：

• 给定：1, 2, 3, 4, 5
• 预测：6, 7, 8, 9, 10

序列到序列预测问题示例

尽管[深度神经网络]具有灵活性和强大功能，但它们只能应用于输入和目标可以合理地用固定维度向量编码的问题。这是一个重要的限制，因为许多重要问题最好用长度事先未知的序列来表达。例如，语音识别和机器翻译都是序列问题。同样，问答也可以看作是将代表问题的词序列映射到代表答案的词序列。

—《使用神经网络进行序列到序列学习》，2014年

这是序列预测的一个微妙但具有挑战性的扩展，它不是预测序列中的单个下一个值，而是预测一个新序列，该序列的长度或类型可能与输入序列相同也可能不同。

这种类型的问题最近在自动文本翻译领域（例如，将英语翻译成法语）受到了大量研究，并且可能被称为缩写seq2seq。

seq2seq 学习的核心是使用循环神经网络将可变长度的输入序列映射到可变长度的输出序列。虽然相对较新，但 seq2seq 方法不仅在其原始应用——机器翻译——中取得了最先进的成果。

—《多任务序列到序列学习》，2016年。

如果输入和输出序列是时间序列，则该问题可能被称为多步时间序列预测。

• 多步时间序列预测。给定一个观测时间序列，预测未来一段时间步长的观测序列。
• 文本摘要。给定一个文本文档，预测一个较短的文本序列，描述源文档的主要部分。
• 程序执行。给定程序或数学方程的文本描述，预测描述正确输出的字符序列。

进一步阅读

如果您想深入了解此主题，本节提供了更多资源。

• 维基百科上的序列
• CPT+：降低紧凑预测树的时间/空间复杂度, 2015
• 使用变阶马尔可夫模型进行预测, 2004
• 序列预测简介, 2016
• 序列学习：从识别和预测到顺序决策, 2001
• 第14章，离散序列分类，《数据分类：算法与应用》，2015年
• 使用循环神经网络生成序列, 2013
• 展示与讲述：一个神经图像字幕生成器, 2015
• 多任务序列到序列学习, 2016
• 使用神经网络进行序列到序列学习, 2014
• 递归和直接多步预测：两全其美, 2012

总结

在本教程中，您了解了不同类型的序列预测问题。

具体来说，你学到了：

• 4种序列预测问题类型。
• 专家对每种序列预测问题类型的定义。
• 每种序列预测问题类型的真实世界示例。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发用于序列预测的 LSTM！

在几分钟内开发您自己的 LSTM 模型。

...只需几行python代码

在我的新电子书中探索如何实现
使用 Python 构建长短期记忆网络

它提供关于以下主题的自学教程：
CNN LSTM、编码器-解码器 LSTM、生成模型、数据准备、进行预测等等...

最终将 LSTM 循环神经网络引入。
您的序列预测项目。

跳过学术理论。只看结果。

查看内容