本文是学习周飞燕、金林鹏、董军三位老师写的卷积神经网络研究综述写的笔记。
原文地址：https://wenku.baidu.com/view/3425581e0166f5335a8102d276a20029bc64637f.html
早在2006年已经有人提出神经网络，但是组开始只适合做小图片的识别，对于大规模的数据，识别效果不佳
到2012年，krizhevsky等使用拓展深度的CNN网络在ImageNet大规模视觉识别竞赛中取得最佳的分类结果才取得当时最佳的分类效果。CNN的主要结构是有由输入层、卷积层、抽样层和全连接层组成。卷积层和抽样层一般会取若干个。由于卷积层中输出的特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输出值，该过程等同于卷积过程，卷积网络由此得名。
卷积层的要素的选取：
据文献记载，CNN网络中深度越深、特征数目越多。则网络能够表达的特征空间也就越大，网络学习能力也越强，然而也会使网络的计算更复杂，极易出现过拟合的现象
池化层的池化方法的选取：
1.最大池化特别适用于分离非常稀疏的特征。
2.使用局部区域内所有的采样点去执行池化操作不一定是最优的，例如均值池化。
3.随机池化方法是对局部接受域采样点按照其值大小赋予概率值，在根据概率值大小随机选择，该池化方法确保了特征面中不是最大激励的神经元也能被利用到。随机池化具有最大池化的方法，同时由于随机性他能避免过拟和。
4.重叠池化是相邻的池化窗口之间有重叠区域。
卷积层：
1.卷积层一般选择ReLU函数作为激励函数。
2.全连接层的输出值被传递给一个输出层，可以采用softmax逻辑回归进行分类。
特征面：
在极小的接受域里，与每层特征面数目均相同的CNN网络结构相比，金字塔架构（特征面数目按倍数增加）更能有效利用计算资源。目前，对于CNN网络特征面数目的设定通常采用的是人工设置的方法，然后进行试验并观察所得模型的分类性能，最终根据网络训练时间和分类性能来选取特征面数目。
CNN与其他模式识别算法相比：
卷积神经网络的本质就是每一个卷积层包含一定数量的特征面或者卷积核。与传统MLP 相比，CNN 中卷积层的权值共享使网络中可训练的参数变少，降低了网络模型复杂度，减少过拟合，从而获得了一个更好的泛化能力。同时，在CNN结构中使用池化操作使模型中的神经元个数大大减少，对输入空间的平移不变性也更具有鲁棒性。而且CNN 结构的可拓展性很强，它可以采用很深的层数。深度模型具有更强的表达能力，它能够处理更复杂的分类问题。总的来说，CNN 的局部连接、权值共享和池化操作使其比传统MLP 具有更少的连接和参数，从而更易于训练。
CNN的一些改进算法：
1.NIN
Lin等人提出了一种Network In Network网络模型，该模型使用微型神经网络代替传统CNN的卷积过程，同时还采用全局平均取样层来代替传统CNN的全连接层，它可以增强神经网络的表达能力。MLP 卷积层能够处理更复杂的非线性问题，提取更加抽象的特征。
NIN 结构采用全局平均池化代替原来的全连接层，使模型的参数大大减少。它通过全局平均池化方法对最后一个MLP卷积层的每个特征面求取均值，再将这些数值连接成向量，最后输入到softmax 分类层中。全局平均池化可看成是一个结构性的正则化算子（structural regularizer），它可以增强特征面与类别的一致性。在全局平均取样层中没有需要优化的参数，因此能够避免过拟合。此外，全局平均取样层对空间信息进行求和，因此对输入的空间变化具有更强的鲁棒性。Lin 等人[50]将该算法应用于MNIST 及SVHN 等数据集中，验证了该算法的有效性。
2.空间变换网络
解决了数据在空间上多样性受到影响的问题。该模块由三个部分组成：本地化网络、网格生成器及采样器。STNs可用于输入层，也可插入到卷积层或者其他层的后面，不需要改变原CNN模型的内部结构。STNs 能够自适应地对数据进行空间变换和对齐，使得CNN 模型对平移、缩放、旋转或者其它变换等保持不变性。此外，STNs 的计算速度很快，几乎不会影响原有CNN 模型的训
练速度。
3.反卷积
由Zeiler[53] 等人提出的反卷积网络（Deconvolutional Networks）模型与CNN 的思想类似，只是在运算上有所不同。CNN 是一种自底而上的方法，其输入信号经过多层的卷积、非线性变换和下采样处理。而反卷积网络中的每层信息是自顶而下的，它对由已学习的滤波器组与特征面进行卷积后得到的特征求和就能重构输入信号。随后，Zeiler 采用反卷积网络可视化CNN中各网络层学习得到的特征，以利于分析并改进CNN 网络结构。