【书籍阅读】DeepLearning----第十章-序列建模：循环和递归网络

  循环神经网络（RNN）是一类用来处理序列数据的神经网络。如卷积神经网络可以处理可变尺寸的网格数据一样，大多数循环神经网络可以处理可变长度的序列数据。
  参数共享使得模型能够扩展到不同形式的样本（如不同长度的序列）并进行泛化。如果对于每个时间点都有一个独立的参数，那么我们不但不能泛化到训练时没见过过的序列长度，也不能在时间上共享不同序列长度和不同位置的统计强度。当信息的特定部分序列在序列内多个位置出现时，这样的共享尤为重要。

$$h^{(t)}=f(h^{(t-1)}；x^{(t)}；\theta)$$   当使用循环神经网络根据过去预测未来时，网络通常使用 $h^{(t)}$作为过去序列（直到t）与任务相关方面的有损摘要。此摘要一般而言是有损的，因为其映射任意长度序列 $\{x^{(t)}，x^{(t-1)}，...，x^{(1)}\}$到一固定长度的向量 $h^{(t)}$。根据不同的训练准则，摘要可能选择性地精确保留过去序列的某些方面。