作者归档 | Jason Brownlee

循环神经网络（RNN）是一种人工神经网络，通过向网络添加额外的权重来创建网络图中的循环，以维持内部状态。向神经网络添加状态的承诺在于，它们将能够显式地学习和利用上下文……

编码器-解码器架构很受欢迎，因为它在许多领域都取得了最先进的结果。该架构的一个限制是它将输入序列编码为固定长度的内部表示。这限制了可以合理学习的输入序列的长度，并导致非常……的性能下降。

循环神经网络能够学习序列预测问题中跨越多个时间步的时间依赖性。像长短期记忆（LSTM）网络这样的现代循环神经网络使用反向传播算法的一个变体进行训练，称为随时间反向传播。为了提高序列预测问题的效率，该算法已得到进一步修改……

长短期记忆（LSTM）循环神经网络能够学习和记忆长序列输入。如果您的问题的每个输入只有一个输出，例如时间序列预测或文本翻译，LSTM 会表现得非常好。但是，当您的输入序列非常长而只有……时，使用 LSTM 可能会很困难。

随时间反向传播（BPTT）是用于更新 LSTM 等循环神经网络权重的训练算法。要有效地构建循环神经网络的序列预测问题，您必须对随时间反向传播的作用及其可配置的变体（如截断随时间反向传播）如何影响……有牢固的理解。

深度学习库假定您的数据是向量化的。对于可变长度序列预测问题，这要求对数据进行转换，使每个序列具有相同的长度。这种向量化允许代码为您选择的深度学习算法高效地批量执行矩阵运算。在本教程中……

双向 LSTM 是传统 LSTM 的扩展，可以提高模型在序列分类问题上的性能。在所有输入序列时间步都可用的问题中，双向 LSTM 会训练两个而不是一个 LSTM 来处理输入序列。第一个是在原始输入序列上，第二个是在输入序列的倒序副本上……