理解深度学习的分类网络：LeNet
深度学习中的分类网络（Classification）很多，可以说是神经网络的鼻祖，代表性的有：LeNet、AlexNet、VGGNet、GoogLeNet、ResNet、SENet、NASNet、AmboNet，下面先介绍LeNet.
LeNet
输入：32x32x1的灰度图像（最后的1是指1个channel，彩色图一般3个channel）
1. 卷积层（conv）
kernal size: 5x5，stride=1, channel=6
输出feature map的大小为：28x28x6
2. 池化层（average polling）
stride=2
输出feature map的大小为：14x14x6
同时经过激活函数sigmoid，shape不变
3. 卷积层（conv）
kernal size: 5x5，stride=1, channel=16
输出feature map的大小为：10x10x16
4. 池化层（average polling）
stride=2
输出feature map的大小为：5x5x16
同时经过激活函数sigmoid，shape不变
5. 将上一步5x5x16的feature map展开，得到长度为400的向量，连到第一个长度为120全连接层（Fully connnected）
6. 将上一步的120维向量连到第二个长度为84的全连接层
7. 最后送入softmax回归，得到十类手写体数字对应的概率值
LeNet大约有6万个参数。另外可以看出，随着网络的加深，图像的宽度和高度在缩小（主要由于polling层的下采样），与此同时，图像的通道数（主要由于卷积层）却在不断的变大。
LeNet和现在广泛使用神经网络有以下不同点：
1）LeNet使用sigmoid作为激活函数，我们一般使用ReLU，因为更简单，效果也差距不大；
2）LeNet使用average pooling作为池化层，而现在一般使用max pooling，主要原因还是max比较简单，运算量小，而且效果差距不大；
3）LeNet网络在pooling后再加激活函数，现在一般是经过卷积之后就加激活函数，可能也是出于计算的角度，对结果影响不大；
4）现在conv后一般会先加批归一化层（batchnorm，bn），LeNet时还没有这个技术，后续介绍。
有疑问的地方欢迎留言，其他网络后面会一一介绍。
相关文章
计算机视觉(CV)任务介绍：分类、检测、分割、超分、关键点识别、图像生成、度量学习
公众号持续更新，欢迎订阅。
AI人工智能与大数据
