神经网络的功能与人脑相似，它们主要由神经元和连接组成。当我们说深度神经网络时，我们可以假设有相当多的隐藏层，可以用来从输入中提取特征和计算复杂的函数。Bengio（2009）解释了深度结构的神经网络，如卷积神经网络（CNN）、自编码器（AE）及其变体等。Deng和Yu（2014）详细介绍了一些神经网络架构，如AE及其变体。Goodfellow等（2016）对深度前馈网络、卷积网络、递归网络及其改进形式进行了介绍和技巧性讲解。Schmidhuber（2014）提到了神经网络从早期神经网络到最近技术的完整历史。
深度自编码器
自编码器（AE）是神经网络（NN），其中输出即输入。AE采用原始输入，编码为压缩表示，然后解码以重建输入。在深度AE中，低隐藏层用于编码，高隐藏层用于解码，误差反向传播用于训练。
深度卷积神经网络
四种基本思想构成了卷积神经网络（CNN），即局部连接、共享权重、池化和多层使用。CNN的第一部分由卷积层和池化层组成，后一部分主要是全连接层。卷积层检测特征的局部连接，池层将相似的特征合。CNN在卷积层中使用卷积而不是矩阵乘法。
网络中的网络
Lin等（2013）提出了网络中的网络（Network In Network，NIN）。NIN以具有复杂结构的微神经网络代替传统卷积神经网络（CNN）的卷积层。它使用多层感知器（MLPConv）处理微神经网络和全局平均池化层，而不是全连接层。深度NIN架构可以由NIN结构的多重叠加组成。
基于区域的卷积神经网络
Girshick等（2014）提出了基于区域的卷积神经网络（R-CNN），使用区域进行识别。R-CNN使用区域来定位和分割目标。该架构由三个模块组成：定义了候选区域的集合的类别独立区域建议，从区域中提取特征的大型卷积神经网络（CNN），以及一组类特定的线性支持向量机（SVM）。
深度残差网络
He等（2015）提出的残差网络（ResNet）由152层组成。ResNet具有较低的误差，并且容易通过残差学习进行训练。更深层次的ResNet可以获得更好的性能。在深度学习领域，人们认为ResNet是一个重要的进步。
胶囊网络
Sabour等（2017）提出了胶囊网络（CapsNet），即一个包含两个卷积层和一个全连接层的架构。CapsNet通常包含多个卷积层，胶囊层位于末端。CapsNet被认为是深度学习的最新突破之一，因为据说这是基于卷积神经网络的局限性而提出的。它使用的是一层又一层的胶囊，而不是神经元。激活的较低级胶囊做出预测，在同意多个预测后，更高级的胶囊变得活跃。在这些胶囊层中使用了一种协议路由机制。Hinton之后提出EM路由，利用期望最大化（EM）算法对CapsNet进行了改进。
循环神经网络
循环神经网络（RNN）更适合于序列输入，如语音、文本和生成序列。一个重复的隐藏单元在时间展开时可以被认为是具有相同权重的非常深的前馈网络。由于梯度消失和维度爆炸问题，RNN曾经很难训练。为了解决这个问题，后来许多人提出了改进意见。
记忆网络
Weston等（2014）提出了问答记忆网络（QA）。记忆网络由记忆、输入特征映射、泛化、输出特征映射和响应组成。
增强神经网络
Olah和Carter（2016）很好地展示了注意力和增强循环神经网络，即神经图灵机（NTM）、注意力接口、神经编码器和自适应计算时间。增强神经网络通常是使用额外的属性，如逻辑函数以及标准的神经网络架构。
长短期记忆网络
Hochreiter和Schmidhuber（1997）提出了长短期记忆（Long short-Short-Term Memory, LSTM），克服了循环神经网络（RNN）的误差回流问题。LSTM是基于循环网络和基于梯度的学习算法，LSTM引入自循环产生路径，使得梯度能够流动。
谷歌神经机器翻译
Wu等（2016）提出了名为谷歌神经机器翻译（GNMT）的自动翻译系统，该系统结合了编码器网络、解码器网络和注意力网络，遵循共同的序列对序列（sequence-to-sequence）的学习框架。
Fader Network
Lample等（2017）提出了 Fader 网络，这是一种新型的编码器-解码器架构，通过改变属性值来生成真实的输入图像变化。
超网络
Ha等（2016）提出的超网络（Hyper Networks）为其他神经网络生成权值，如静态超网络卷积网络、用于循环网络的动态超网络。
Highway Networks
Srivastava等（2015）提出了高速路网络（Highway Networks），通过使用门控单元来学习管理信息。跨多个层次的信息流称为信息高速路。
Highway LSTM RNN
Zhang等（2016）提出了高速路长短期记忆（high - Long short Memory，HLSTM）RNN，它在相邻层的内存单元之间扩展了具有封闭方向连接（即 Highway）的深度LSTM网络。
长期循环CNN
Donahue等（2014）提出了长期循环卷积网络（LRCN），它使用CNN进行输入，然后使用LSTM进行递归序列建模并生成预测。
深度神经SVM
Zhang等（2015）提出了深度神经SVM（DNSVM），它以支持向量机（Support Vector Machine，SVM）作为深度神经网络（Deep Neural Network，DNN）分类的顶层。
卷积残差记忆网络
Moniz和Pal（2016）提出了卷积残差记忆网络，将记忆机制并入卷积神经网络（CNN）。它用一个长短期记忆机制来增强卷积残差网络。
分形网络
Larsson等（2016）提出分形网络即FractalNet作为残差网络的替代方案。他们声称可以训练超深度的神经网络而不需要残差学习。分形是简单扩展规则生成的重复架构。
WaveNet
van den Oord等（2016）提出了用于产生原始音频的深度神经网络 WaveNet。WaveNet由一堆卷积层和softmax分布层组成，用于输出。
指针网络
Vinyals等（2017）提出了指针网络（Ptr-Nets），通过使用一种称为"指针"的softmax概率分布来解决表征变量字典的问题。
相关文章