CS231n-2017 第5讲 卷积神经网络简介

1. 神经网络发展历史

• 1957， Frank Rosenblatt：神经元，其实就是简单的线性分类器，用于字母识别。
• 1960，Widow & Hoff，Adaline/Madaline，多层感知器网络。
• 1986，Rumelhart，反向传播算法。
• 2006，Hinton & Salakhutdinov，深层神经网络可被高效训练：通过受限玻尔兹曼机来初始化网络参数，然后利用反向传播算法进行参数微调。
• 2012，Hinton实验室，语音识别与图像识别。

2. 卷积神经网络

• 1959，Hubel & Wiesel，猫对图像的反应的实验，神经元存在层级关系，复杂度不同的神经元负责不同的信息处理。
• 1980，Fukushima，神经元感知机，简单神经元与复杂神经元交替出现，复杂神经元对简单神经元的输出做微小的修改。
• 1998，Yann Lecun，反向传播和梯度下降算法，实现邮编识别。
• 2012，Alex，AlexNet，与Yann Lecun的网络结构大体相同，只不过更深。

3. 卷积神经网络

• 注意：每个卷积核还对应着一个偏置项。
• 通过多层卷积，可获得多层次特征。如浅层所获得的特征可能是边缘等简单特征；中层特征可能是角、色彩等特征。
• 特征可视化的原理：将每个模板视为神经元的功能函数，求出哪种输入使得该神经元输出达到最大。
• 卷积输出的图像的尺寸：$(N-F)/\rm{stride}-1$，其中$N$为原图像尺寸，$F$为卷积核尺寸，$\rm{stride}$为卷积的跨立步长。
• 池化：为了减少参数个数。常用的有均值池化，最大值池化。

图 1. 典型卷积网络的结构

有用的链接

• 卷积神经网络可视化网页。