为了解决非线性问题，人们模拟了生物大脑的结构与神经元的传递，用来进行非线性系统的实验操作，也就是人工神经网络（ANN），但传统神经网络由于层与层之间全为全连接层，隐藏层上无节点连接，所以无法通过先前推断后续，于是循环神经网络（RNN）出现了，这种节点成环定向连接的人工神经网络，在所需推断和信息间隔较近的时候，可以完成由先前到后续的过程，但是间隔一大，这种应用记忆信息的能力就削弱了，也就是梯度弥散。于是LSTM（LONG SHORT-TERM MEMORY）这种特殊的RNN出现了。所有RNN都有一种重复模块结构，标准RNN这种结构一般十分简单，由一个层组成；而LSTM的这种结构会有四个交互的层，而且LSTM会有三个输入：上一时刻的输出，上一时刻的状态，当前时刻的输入。LSTM的关键在于cell状态，就像一个传送带，信息从中穿过，只会进行少量线性操作，所以可以保证信息的完整与记忆，但美中不足的是，这种水平线无法实现信息的删减与添加，所以就有了LSTM中的重要结构——门的出现。
to be continue>>>>
BY ZJQ