简单循环网络
（
Simple Recurrent Network
，
SRN
）
是一个非常简单的循环神经网络，
只有一个隐藏层的神经网络
．
在一个两层的
前馈神经网络
中
，
连接存在相邻的层与层之间
，
隐藏层的节点之间是无连接的
．
而简单循环网络增加了从隐藏层到隐藏层的反馈连接．
如果我们把每个时刻的状态都看作前馈神经网络的一层，
循环神经网络可以看作在时间维度上权值共享的神经网络．
图
6.2
给出了按时间展开的循环神经网络．
循环神经网路的计算能力
循环神经网络的通用近似定理
循环神经网络的拟合能力也十分强大．
一个完全连接的循环网络是任何非线性动力系统的近似器．
