LeNet-5
首先，最为经典的就是LeNet-5，四层的神经网络结构，（2个卷积层和2个全连接层）有个需要注意的点是卷积完，会先进行池化再进行激活。由于池化和激活没有带参数进行运算，因此不算入神经网络结构。
1.采用sigmoid激活函数。
2.神经网络层数较少，称之为浅层神经网络结构。
Alexnet
近几年更新的神经网络的开端，2012的经典之作。八层的神经网络结构，五层的卷积和三层的全连接层。可以看到提出了正则化层：LRN层，但在后来证明其对网络的效果没有影响，即无用。
1.采用了Relu激活函数。
2.层数达到更深的八层。
3.在最后面的几层全连接层中引入了Dropout，防止过拟合。
VGG
随之而来的是2014年ILSVRC14挑战赛的亚军牛津大学提出的VGG。近几年被广泛使用的是D的vgg16和E的vgg19。分别对应了16层和19层。
可以看到一个显著的改变是卷积核大小非常小，基本都是33。会使用大量重复的卷积来提取图片的特征。
1.层次达到更深层次的19层。
2.采用更小的卷积核，参数大大减少。这句话可以从一个77的卷积核 和 3个连续的33的卷积核可以看出。
一个77的卷积核 和 3个连续的3*3的卷积核的感受野大小一样，但后者的参数可少，并且每次进行的卷积都会进行一次非线性的激活，使得特征提取更为有效。
3.池化窗口大小、步长大小也都减少。
GoogLeNet
以下为Inception模块，使用了分离卷积的思想。
Google提出了从InceptionV1到InceptionV4，以及一些抵抗对抗样本的adv、ens3adv、ens4adv等等。
ILSVRC14挑战赛冠军Google提出了其开端GoogLeNet。
1.网络层数达到了更深层次的22层。
2.参数量非常少，是12年冠军Alexnet的1/12。
3.分类准确率比VGG高。
Resnet
深度残差网络。
研究发现，神经网络层次越深越能够很好地表达识别能力，并且可能获得更好的泛化能力。但之前的、以上的网络架构在层数更深层次的过程中会变得难以训练，因此在2015年，由微软亚洲研究院的何凯明等人提出了skip connection的深度残差网络（Residual Neural Network）。
简单来说，如果经过该层网络训练效果不好，起码会保留原有的x，不会由于更深层次的网络对原有的x进行大幅度的变化。
identity其实是一个对x进行（映射）简单变换调整至与F（x）的shape相同，让其两个可以进行堆叠。
例如：在卷积改变通道后，对于x会使用一个1*1的卷积进行扩展通道数，于适应卷积的shape的变换。
DenseNet
DenseNet在2016年被提出，是目前对于Imagenet数据集Top-5精度最高的神经网络结构。
它的特点是吸收了Resnet的思想，并且进行了一定的改进。DenseNet是将前面所有层的特征图信息通过Skip Connection与当前层的输出进行聚合，可以看到它的改进就是，每一层的输出不仅集成了该层的输入和输出，而且集成之前的所有网络层的输出。
后续：
Google在2015提出了一种BatchNorm层，俗称BN层，可以说是LRN层的进化。
这种参数标准化的手段，使得网络的超参数的设定更加自由，并且收敛速度会更快，可以说，BN层的使用对于神经网络的训练是有一定帮助的，鉴于神经网络目前的不可解释性，仍有待实验探究。
一般采用Conv-BN-ReLU-Pooling的方式。