读ImageNet Classification with Deep Convolutional Neural Networks

ImageNet Classification with Deep Convolutional Neural Networks

By Alex Krizhevsky, Ilya Sutskever, and Geoffrey E.Hioton 2012.

AlexNet:

整体框架:

详细:

创新:

1. (Rectified Linear Unit nonlinearity) 使用ReLU激活函数作为CNN的激活函数, 解决Sigmoid在网络较深时梯度弥散的问题。

2. (Dropout) 使用Dropout随即忽略一部分神经元，避免模型过拟合。

3. (Overlapping pooling) 使用重叠的最大池化，避免了平均池化的模糊化效果，并且让池化层的输出之间有重叠和覆盖，提升了特征的丰富性。

4. (Local response normalizaton) 提出了LRN层，对局部神经元的活动创建竞争机制，增强了模型的泛化能力。
   $b^i_{x,y}=a^i_{x,y}/(k+\alpha \sum^{\min(N-1,i+\frac n2)}_{j=max(0,i-\frac n2)}(a^j_{x,y})^2)^\beta$

5. (Training on multiple GPUs) 使用CUDA加速深度卷积网络的训练，使用两个GPU并行计算处理，加速运算。

其他:

欢迎加入集美大学人工智能协会QQ群:283266234