LeNet论文知识提取

LeNet:《Gradient-Based Learning Applied to Document Recognition》

为什么要使用卷积：

　　1.由于图像一般都非常大，由很多像素组成。具有100个隐藏单元的全连接网络包含成千上万的权重，这么多参数提高了系统的消耗和内存占用，因此需要更大的训练集。

　　2.对于图像和音频这些领域来说，不具备平移、变形、扭曲的不变型，也就是说当图像主体的位置发生变化时，普通前向传播神经网络很难达到足够的鲁棒性。而卷积可以通过共享权值来实现位移不变型。

　　3.全连接网络对输入顺序不敏感，例如图像翻转等，顺序就发生了改变。而图像具有很强的二维局部结构，空间相邻的像素具有高度相关性。局部相关性对于提取局部特征来说具有巨大优势，因为相邻像素的权值可以分成几类。CNN通过将隐藏结点的感受野限制在局部来提取特征。

　　CNN通过局部感受野(local receptive fields)，权值共享(shared weights)，下采样(sub-sampling)实现位移，缩放，和形变的不变性(shift,scale,distortion invariance)。

CNN的三大核心思想：

局部感受野(local receptive fields):基于图像局部相关的原理，保留了图像局部结构，同时减少了网络的权值

扫描二维码关注公众号，回复： 6832554 查看本文章

权值共享(shared weights): 也是基于图像局部相关的原理，同时减少网络的权值参数

下采样(sub-sampling)：对平移和形变更加鲁棒，实现特征的不变性，同时起到了一定的降维的作用

参考：https://blog.csdn.net/qianqing13579/article/details/71076261

网络结构参考：https://blog.csdn.net/saw009/article/details/80590245