深度学习（十六）循环神经网络 4（BiDirectional RNN， Highway network， Grid-LSTM）
RNN处理时间序列数据的时候，不仅可以正序，也可以正序+逆序（双向）。下面显示的RNN模型，不仅仅是simple RNN，可以是LSTM，或者GRU
1 BiDirectional RNN
当然，RNN的层数也不仅仅是一层
2. Highway network
通过传统的Feedforward neural network和 RNN的学习，对于初学者来讲，貌似二者网络结构差异较大，没有交集。 但是实则不然，我们一起来分析一下。
（1）Feedforward与RNN 网络结构对比
- Feedforward network does not have input at each step
- Feedforward network has different parameters for each layer
当我们尝试在前向网络中加入Gate门限，我们会得到什么？
（2）Highway Network
Highway Network 实际上就是竖起来的RNN
Highway Network 与GRU之间的区别
- No input xt at each step
- No output yt at each step
- at-1 is the output of the (t-1)-th layer
- at is the output of the t-th layer
- No reset gate
Highway network 的公式：
我们熟知的残差神经网络其实就是Highway Network 的一种变种
Highway network 实际上可以自动决定网络的层数：
(3) Grid LSTM
传统的LSTM memory在一个维度，Grid LSTM增加了输入和输出的维度，Memory for both time and depth
整体time和depth的结构图：
我们拆解一下Grid LSTM
(4) 3D Grid LSTM
又增加一个memory维度
本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229，斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里，感谢这些经典课程，向他们致敬！