返回 Deep Learning 经典网络 model 发展史 目录
上一章：深度篇—— Deep Learning 经典网络 model 发展史(一) 关于 model 发展史 图形结构 和 LeNet-5 结构和特点
下一章：深度篇—— Deep Learning 经典网络 model 发展史(三) 细说 ZF-Net 结构和特点
本小节，细说 AlexNet 结构和特点，下一小节细说 ZF-Net 结构和特点
论文地址：ImageNet Classification with Deep Convolutional Neural Networks
二. 经典网络(Classic Network)
2. AlexNet
在 2012 年 ImageNet 竞赛中，AlexNet 以超过第二名 10.9 个百分点的绝对优势一举夺冠。这，也就是人们常说的：在 2012 年 AlexNet 横空出世，从此在图像深度学习方面，百花齐放。
(1). 网络描述:
从上面网络可知，输入 224x224 ~ 227x227 都是可以的，因为第一层的 padding 是 SAME
(2). AlexNet 的新特点：
①. 成功使用 ReLU 作为 CNN 的激活函数，并验证其效果在较深的网络中超过了 Sigmoid，成功解决了 Sigmoid 在网络较深时梯度弥散的问题。此外，加快了训练速度，因为训练网络使用梯度下降法，非饱和的非线性函数训练快于饱和的非线性函数，并且，ReLU 函数比 Sigmoid 函数简单，运算量少。虽然 ReLU 激活函数在很久以前就被提出了，但是，直到 AlexNet 的出现才将其发扬光大。
②. 训练时使用 Dropout 随机忽略一部分神经元，以避免模型的过拟合。Dropout 虽然有单独的论文述，但是 AlexNet 将其实用化，通过实践证实了它的效果。在 AlexNet 中主要是最后几个全连接层使用了 Dropout。
③. 在 CNN 中使用重叠的最大池化。此前 CNN 中普遍使用平均池化，AlexNet 全部使用最大池化，避免了平均池化的模糊化效果。并且 AlexNet 中提出了让步幅比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。
④. 提出了局部响应归一化 LRN (Local Response Normalization, LRN) 层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其反馈较小的神经元，增强了模型的泛化能力。
⑤. 使用 CUDA 加速深度卷积网络的训练，利用 GPU 强大的并行计算能力，处理神经网络训练时大量的矩阵运算。作者将 AlexNet 分布在两个 GPU 上，在每个 GPU 的显存中存储一半神经元的参数
⑥. 数据增强
数据增强大大地增大了数据量。如果没有数据增强，仅靠原始的数据量，参数众多的 CNN 会陷入过拟合中，使用数据增强后可以大大减轻过拟合，提升泛化能力。进行预测时，则是取图像的四个角加中间共 5 个位置，并进行左右翻转，一共获得 10 张图像，对它们进行预测并对 10 次结构求均值。
返回 Deep Learning 经典网络 model 发展史 目录
上一章：深度篇—— Deep Learning 经典网络 model 发展史(一) 关于 model 发展史 图形结构 和 LeNet-5 结构和特点
下一章：深度篇—— Deep Learning 经典网络 model 发展史(三) 细说 ZF-Net 结构和特点
