摘要，通过本文你可以学到：
- 传统的时间序列预测方法侧重于具有线性关系的单变量数据以及固定和手动诊断的时间依赖性。
- 神经网络增加了学习可能的噪声和非线性关系的能力，其中任意定义但固定数量的输入和输出支持多变量和多步预测。
- 递归神经网络增加了有序观察的显式处理和从上下文学习时间依赖的承诺。
递归神经网络是一种神经网络，它在输入观察中添加了对顺序的显式处理。
这种能力表明，递归神经网络的前景是学习输入序列的时间背景，以便做出更好的预测。也就是说，进行预测所需的一系列滞后观察不再必须像传统的时间序列预测那样被诊断和指定，甚至不能用经典神经网络进行预测。相反，可以学习时间依赖性，也可以学习这种依赖性的变化。
在这篇文章中，您将发现循环神经网络在时间序列预测中的承诺能力。阅读这篇文章后，你会知道：
- 传统时间序列预测方法的重点和隐含（如果不是明确的话）限制。
- 使用传统前馈神经网络进行时间序列预测的能力。
- 复发神经网络在传统神经网络之上做出的额外承诺以及这在实践中可能意味着什么的暗示。
让我们开始吧。
时间序列预测
时间序列预测很困难。
与分类和回归的简单问题不同，时间序列问题增加了观察之间的顺序或时间依赖性的复杂性。
这可能很困难，因为在拟合和评估模型时需要专门处理数据。它还有助于建模，提供趋势和季节性等额外结构，可用于提高模型技能。
传统上，时间序列预测一直由ARIMA等线性方法主导，因为它们对许多问题都有很好的理解和有效性。但是这些传统方法也受到一些限制，例如：
- 专注于完整数据：通常不支持丢失或损坏的数据。
- 关注线性关系：假设线性关系排除了更复杂的关节分布。
- 关注固定的时间依赖性：必须诊断和指定不同时间的观察之间的关系，以及作为输入提供的滞后观察的数量。
- 关注单变量数据：许多现实问题都有多个输入变量。
- 专注于一步预测：许多现实问题需要长时间的预测。
时间序列的神经网络
神经网络近似于从输入变量到输出变量的映射函数。
出于多种原因，这种一般能力对于时间序列是有价值的。
- 坚固耐用。神经网络对输入数据和映射函数中的噪声具有鲁棒性，甚至可以在存在缺失值的情况下支持学习和预测。
- 非线性。神经网络不对映射函数做出强有力的假设，并且很容易学习线性和非线性关系。
更具体地，神经网络可以被配置为在映射函数中支持任意定义但固定数量的输入和输出。这意味着：
- 多变量输入。可以指定任意数量的输入要素，为多变量预测提供直接支持。
- 多步预测。可以指定任意数量的输出值，为多步骤甚至多变量预测提供直接支持。
-
仅就这些功能而言，前馈神经网络被广泛用于时间序列预测。
隐含于神经网络的使用是要求确实存在从输入到输出的有意义的映射以便学习。对随机游走的映射建模将不会比持久性模型更好（例如，使用最后看到的观察作为预测）。
这种可学习的映射函数的期望也使得其中一个限制变得清晰：映射函数是固定的或静态的。
- 固定输入。滞后输入变量的数量是固定的，与传统的时间序列预测方法相同。
固定输出。输出变量的数量也是固定的; 虽然这是一个更微妙的问题，但这意味着对于每个输入模式，必须生成一个输出。
时间序列的递归神经网络
当从输入到输出学习映射函数时，像长短期记忆网络这样的递归神经网络在观察之间增加了对顺序的显式处理。
序列的添加是近似函数的新维度。网络不是单独将输入映射到输出，而是能够随时间学习输入到输出的映射函数。
此功能可解锁神经网络的时间序列。
除了使用神经网络进行时间序列预测的一般好处之外，递归神经网络还可以从数据中学习时间依赖性。
- 学会了时间依赖。学习了随时间观察的背景。
也就是说，在最简单的情况下，网络从序列中一次显示一个观察点，并且可以了解它之前看到的哪些观察结果是相关的以及它们如何与预测相关。
循环神经网络的前景是可以学习输入数据中的时间依赖性。不需要指定一组固定的滞后观察值。
在这个承诺中隐含的是，也可以学习随环境变化的时间依赖性。
但是，循环神经网络可能更多。
优良作法是从时间序列数据中手动识别和移除此类系统结构，以使问题更容易建模（例如，使序列静止），这在使用递归神经网络时仍然是最佳实践。但是，这些网络的一般能力表明，这可能不是熟练模型的要求。
从技术上讲，可用的上下文可能允许循环神经网络学习：
- 趋势。时间序列的增加或减少水平，甚至是这些变化的变化。
- 季节性。随着时间的推移不断重复模式