斯 坦 福 大 学(Stanford University) 李 飞 飞(Feifei Li) 教 授 带 头 整理的 ImageNet 是图像识别领域非常有名的数据集。在 ImageNet 中,将近 1500 万图片被关联到了 WordNet 的大约 20000 个名词同义词集上。ImageNet 每年都举办图像识别相关的竞赛(ImageNet Large Scale VisualRecognition Challenge,ILSVRC),其中最有名的就是 ILSVRC2012 图像分类数据集。ILSVRC2012 图像分类数据集包含了来自 1000 个类别的 120万张图片,其中每张图片属于且只属于一个类别。因为 ILSVRC2012 图像分类数据集中的图片是直接从互联网上爬取得到的,图片的大小从几千字节到几百万字节不等。
图1 不同算法在ImageNet ILSVRC2012图像分类数据集上的正确率
图1 不同算法在ImageNet ILSVRC2012图像分类数据集上的正确率
图 1 给 出 了 不 同 算 法 在 ImageNet 图 像 分 类 数 据 集 上 的 top-5 正 确率。top-N 正确率指的是图像识别算法给出前 N 个答案中有一个是正确的概率。在图像分类问题上,很多学术论文都将前 N 个答案的正确率作为比较的方法,其中 N 的取值一般为 3 或 5。从图 1 中可以看出,在ImageNet 问题上,基于卷积神经网络的图像识别算法可以远远超过人类的表现。在图 1 的左侧对比了传统算法与深度学习算法的正确率。从图中可以看出,深度学习,特别是卷积神经网络,给图像识别问题带来了质的飞跃。2013 年之后,基本上所有的研究都集中到了深度学习算法上。
在前面的文章中所介绍的神经网络每两层之间的所有结点都是有边相连的,所以我们称这种网络结构为全连接层网络结构。图 2 显示了全连接神经网络与卷积神经网络的结构对比图。虽然图 2 中显示的全连接神经网络结构和卷积神经网络的结构直观上差异比较大,但实际上它们的整体架构是非常相似的。从图 2 中可以看出,卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样,卷积神经网络中的每一个节点都是一个神经元。在全连接神经网络中,每相邻两层之间的节点都有边相连,于是一般会将每一层全连接层中的节点组织成一列,这样方便显示连接结构。而对于卷积神经网络,相邻两层之间只有部分节点相连,为了展示每一层神经元的维度,一般会将每一层卷积层的节点组织成一个三维矩阵。
图2 全连接神经网络与卷积神经网络结构示意图
除了结构相似,卷积神经网络的输入输出以及训练流程与全连接神经网络也基本一致。以图像分类为例,卷积神经网络的输入层就是图像的原始像素,而输出层中的每一个节点代表了不同类别的可信度。这和全连接神经网络的输入输出是一致的。在 TensorFlow 中训练一个卷积神经网络的流程和训练一个全连接神经网络没有任何区别。卷积神经网络和全连接神经网络的唯一区别就在于神经网络中相邻两层的连接方式。
使用全连接神经网络处理图像的最大问题在于全连接层的参数太多。 对 于 MNIST 数 据, 每 一 张 图 片 的 大 小 是 28×28×1, 其 中 28×28
为 图 片 的 大 小,*1 表 示 图 像 是 黑 白 的, 只 有 一 个 色 彩 通 道。 假 设 第一 层 隐 藏 层 的 节 点 数 为 500 个, 那 么 一 个 全 链 接 层 的 神 经 网 络 将 有
28×28×500+500=392500 个参数。当图片更大时,比如在 Cifar-10 数据集中,图片的大小为 32×32×3,其中 32×32 表示图片的大小,×3 表示图
片是通过红绿蓝三个色彩通道(channel)表示的。这样输入层就有 3072个节点,如果第一层全连接层仍然是 500 个节点,那么这一层全链接神经
网络将有 3072×500+50 约等于 150 万个参数。参数增多除了导致计算速度减慢,还很容易导致过拟合问题。所以需要一个更合理的神经网络结构
来有效地减少神经网络中参数个数。卷积神经网络就可以达到这个目的。
图 3 用于图像分类问题的一种卷积神经网络架构图
图 3 给出了一个更加具体的卷积神经网络架构图。在卷积神经网络的前几层中,每一层的节点都被组织成一个三维矩阵。比如处理 Cifar-10
数据集中的图片时,可以将输入层组织成一个 32*32*3 的三维矩阵。图 3 中虚线部分展示了卷积神经网络的一个连接示意图,从图中可以看出
卷积神经网络中前几层中每一个节点只和上一层中部分的节点相连。卷积神经网络的具体连接方式将在下文中介绍。