卷积网络
多层感知器本身存在结构布局问题。我们描述一类特定的通称为卷积网络的多层感知器，它对于模式分类非常适合。这些网络的提出所隐含的思想受到了神经生物学的启发，可以回溯到Hubel and Wiesel (1962, 1977) 的开创性研究，该研究是关于猫的视觉皮质上局部传感和方位选择神经元的。一个卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种二维形状对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。这个艰巨的任务是通过如下网络在监督方式下学会的，网络的结构包括如下形式的约束 (LeCun and Bengio，2003)：
1. 特征提取。每一个神经元从上一层的局部接受域得到突触输人，因而迫使它提取局部特征。一旦一个特征被提取出来，只要它相对于其他特征的位置被近似地保留下来，它的精确位置就变得没有那么重要了。
2. 特征映射。网络的每一个计算层都是由多个特征映射组成的，每个特征映射都是平面形式的，平面中单独的神经元在约束下共享相同的突触权值集。这种结构约束的第二种形式具有如下的有益效果：
平移不变性，强迫特征映射的执行使用具有小尺度核的卷积，再接着用一个sigmoid函数。
自由参数数量的缩减，通过权值共享实现。
3. 子抽样。每个卷积层跟着一个实现局部平均和子抽样的计算层，由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他形式的变形的敏感度下降的作用。
注意，在一个卷积网络所有层中的所有权值都是通过训练来学习的。此外，网络自动地学习提取它自身的特征。
图 4.23 表明由一个输人层和四个隐藏层与一个输出层组成的卷积网络的体系结构布局。这个网络被设计用于实现图像处理 （例如手写体的识别）。输入层由 28 x 28 个感知节点组成，接收已经近似处于中心位置和在大小上规整化的不同字符的图像。然后，计算流程在卷积和子抽样之间交替，如下所述：
1. 第一隐藏层进行卷积。它由四个特征映射组成，每个特征映射由 24 x 24 个神经元组成。每个神经元指定一个 5 x 5的接受域。
2. 第二隐藏层实现子抽样和局部平均。它同样由四个特征映射组成，但其每个特征映射由 12 x 12 个神经元组成。每个神经元具有一个 2 x 2 的接受域，一个可训练系数，一个可训练偏置和一个 sigmoid 激活函数。可训练系数和偏置控制神经元的操作点；例如，如果系数很小，该神经元以拟线性方式操作。
3. 第三隐藏层进行第二次卷积。它由12个特征映射组成，每个特征映射由 8 x 8 个神经元组成。该隐藏层中的每个神经元可能具有和上一个隐藏层几个特征映射相连的突触连接。否则，它以第一个卷积层相似的方式操作。
4. 第四个隐藏层进行第二次子抽样和局部平均计算。它由 12 个特征映射组成，但每个特征映射由 4 x 4 个神经元组成。否则它以第一次抽样相似的方式操作。
5. 输出层实现卷积的最后阶段。它由26个神经元组成，每个神经元指定为 26 个可能的字符中的一个。跟前面一样，每个神经元指定一个 4 x 4 的接受域。
相继的计算层在卷积和抽样之间的连续交替，我们得到一个“双尖塔”的效果。也就是在每个卷积或抽样层，随着空间分辨率下降，与相应的前一层相比特征映射的数量增加。卷积之后进行子抽样的思想是受到 Hubel 和 Wiesel (1962)首先提出的“简单的”细胞后面跟着“复杂的”细胞“的概念启发而产生的。
图 4.23 所示的多层感知器包含近似 100000 个突触连接，但只有大约 2600 个自由参数。自由参数在数量上显著减少是通过权值共享实现的。机器学习的能力因而下降，这又提高了它的泛化能力。甚至更值得注意的事实是对自由参数的调整通过反向传播学习的随机形式来实现。
从图 4.23 的卷积网络中收获了以下两方面经验。首先，通过结合当前任务的先验知识约束其设计，一个可调整大小的多层感知器能够学习一个复杂的、高维的和非线性的映射。其次，突触权值和偏置水平可以周而复始地执行通过训练集的简单反向传播算法进行学习。
References
(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572