目的：捕捉序列中的长距离依赖关系
A. 文本分类的RNN:
过激活函数f得到h
最后一个时刻的h，编码了整个输入序列，在最后一个时刻的h上加输出层，过softmax，得到各个类别的概率；
B.
BPTT(Back Propagation Through Time)
梯度爆炸：使用梯度裁剪来缓解，当梯度的L2-Norm大于某个给定值时，对梯度进行等比收缩；（Tensorflow里的tf.clip_by_norm）
梯度消失：传统前馈网络，通过ReLU，Resnet等解决；RNN使用LSTM和GRU等gate解决；
C.
f如果使用ReLU做激活函数，则会在激活区域（即x>0的区域）造成多个W连乘，最终结果很可能趋于0或者无穷，即引发数值问题；同理，反向传播时，梯度也成了多个W连乘，导致梯度消失或梯度爆炸；
只有当W在单位矩阵附近时，以上问题才解决；所以有一种思路是初始化W为单位矩阵附近；
CNN和RNN用ReLU做激活函数，因为他们的权重矩阵W是不同的，因此可以相互抵消；
D. LSTM (注意c是记忆，h是输出的隐状态(短记忆!))
长期记忆：遗忘门的值接近1，输入门的值接近0
短期记忆：遗忘门的值接近0，输入门的值接近1
E.
3种gate使用sigmoid函数，值域0~1, 符合门控的物理意义（0是关门，1是开门）；（Attention中的门控用的也是sigmoid）
生成候选记忆使用tanh函数，值域-1~1，符合特征分布以0为中心的常识；
F.
机器翻译：解码器，输入的第1个词是<EOS>，解码输出遇到<EOS>则终止；
BeamSearch: 每一步保留N个最优解；（N一般取8~12）；
常用技术：多层RNN、dropout、残差网络、顶层输出加CRF、attention
G.
RNN，包括LSTM等，包括双向RNN, 都有当前时刻的h重点编码了和他最近的几个时刻的倾向（离当前时刻远的那些时刻们，往往被当前时刻所淡化），所以要用attention，所以要用Transformer那种无视顺序的；
attention把解码器上一时刻隐层输出，和编码器所有时刻隐层输出，依次点乘过softmax得权重，编码器所有时刻隐层输出的加权和，当做解码器当前时刻的重要输入（还有上一时刻隐层输出，上一时刻输出层结果的embedding）
attention一定程度上解决了编码长序列的问题；