版权声明：本文为博主原创文章，欢迎转载，请注明出处 https://blog.csdn.net/u011574296/article/details/79592042
LeNet-5—-1998
LeNet-5是卷积网络的开上鼻祖，它是用来识别手写邮政编码的，论文可以参考Haffner. Gradient-based learning applied to document recognition.
大名鼎鼎的LeNet5诞生于1994年，是最早的深层卷积神经网络之一，并且推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann LeCun完成的开拓性成果被命名为LeNet5。LeCun认为，可训练参数的卷积层是一种用少量参数在图像的多个位置上提取相似特征的有效方式，这和直接把每个像素作为多层神经网络的输入不同。像素不应该被使用在输入层，因为图像具有很强的空间相关性，而使用图像中独立的像素直接作为输入则利用不到这些相关性。
LeNet-5网络架构如下图：
LeNet-5的特点:
(1)每个卷积层包含三个部分：卷积、池化和非线性激活函数
(2)使用卷积提取空间特征
(3)降采样（Subsample）的平均池化层（Average Pooling）
(4)双曲正切（Tanh）或S型（Sigmoid）的激活函数 MLP作为最后的分类器
(5)层与层之间的稀疏连接减少计算复杂度