吴恩达深度学习 第五门课 第一周 序列模型（sqquence models）

数字符号(notation)

采用 $x^{<1>}$表示输入序列， $y^{<2>}$表示输出序列，每个单词有一个one hot向量。

循环神经网络

采用标准的神经网络：一是序列长度不同时不好处理，二是需要大量的参数。
循环神经网络神经院不仅会预测，还会传递一个时间步给下一神经元

循环神经网络的前向传播如下

通过时间的反向传播，反向传播的路径刚好与前向传播相反

循环神经网络的种类

GRU

GRU是给记忆细胞的新候选值加一个门

LSTM包含三个门，更新门、遗忘门、输出门

双向循环神经网络

双向循环神经网络使得预测可以接受未来的信息

深层循环神经网络

未完待续，后续补充细节…
参考第五门课 序列模型(Sequence Models)