深度学习几种典型架构
http://blog.sina.com.cn/s/blog_cfa68e330102zfaf.html
介绍几种典型的深度学习架构。
卷积神经网络(CNN)
卷积神经网络由LeCun提出。在Kaggle竞赛中取得了巨大成功。
典型的卷积网络有两部分。 第一个是负责特征提取，由一对或多对卷积和子采样/最大池化层组成。 第二部分是经典的全连接多层感知器，将提取的特征作为输入。如下图所示。
卷积神经网络架构
长短期记忆网络（LSTM)
长短期记忆网络是比较流行的一种网络结构。
LSTM架构
长短期记忆网络用两个门来控制单元状态的内容，一个是遗忘门(forget gate)，决定了上一时刻的单元状态有多少能够保留到当前时刻；一个是输入门(input gate)，决定了当前时刻网络的输入有多少保留到单元状态。LSTM使用输出门(output gate)控制单元状态有多少输出到LSTM的当前输出值。
GRU
GRU是 LSTM 的简化版，但在大多数任务中其表现与 LSTM 不相伯仲。
GRU和LSTM对比
相比LSTM， GRU 有更少的参数，因此相对容易训练且过拟合的问题要轻一些，在训练数据较少时可以尝试使用GRU。
更简化的有迷你GRU。
迷你GRU
DB-LSTM
深度双向LSTM
深度双向LSTM
卷积残差记忆网络
卷积残差记忆网络是CNN和LSTM的一种结合。
卷积残差记忆网络架构
Dynamic NTM
Evolvable Neural Turing Machines
Unsupervised Domain Adaptation By Backpropagation
Deeply Recursive CNN For Image Super-Resolution
Recurrent Model Of Visual Attention
MLP with synthetic gradients
Google’s Neural Machine Translation System
