本文主要介绍AlextNet的一些知识，这些知识经常被忽略
一、AlextNet的创新点
（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。
使用Relu的优点如下：
1>因为正半轴为向上升的函数，所以好求导，提升了计算速度
2>同样的因为正半轴为向上升的函数，所以相比sigmoid函数不会梯度消散
3>负半轴为0，所以增加了网络的稀疏性
4>非线性
（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。
1>Dropout之所以能够防止过拟合是因为，当dropout掉一些神经元时就相当于对不同的网络进行正向和反向传播，整个dropout的过程就相当于对多个不同的神经网络取平均，一些互为反向的拟合相互抵消
（3）在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。
（4）提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
（5）使用CUDA加速深度卷积网络的训练，利用GPU强大的并行计算能力，处理神经网络训练时大量的矩阵运算。AlexNet使用了两块GTX 580 GPU进行训练，单个GTX 580只有3GB显存，这限制了可训练的网络的最大规模。因此作者将AlexNet分布在两个GPU上，在每个GPU的显存中储存一半的神经元的参数。因为GPU之间通信方便，可以互相访问显存，而不需要通过主机内存，所以同时使用多块GPU也是非常高效的。同时，AlexNet的设计让GPU之间的通信只在网络的某些层进行，控制了通信的性能损耗。
（6）数据增强，随机地从256256的原始图像中截取224224大小的区域（以及水平翻转的镜像），相当于增加了2*(256-224)^2=2048倍的数据量。如果没有数据增强，仅靠原始的数据量，参数众多的CNN会陷入过拟合中，使用了数据增强后可以大大减轻过拟合，提升泛化能力。进行预测时，则是取图片的四个角加中间共5个位置，并进行左右翻转，一共获得10张图片，对他们进行预测并对10次结果求均值。同时，AlexNet论文中提到了会对图像的RGB数据进行PCA处理，并对主成分做一个标准差为0.1的高斯扰动，增加一些噪声，这个Trick可以让错误率再下降1%。
二、防止过拟合和欠拟合的方法
1、防过拟合
（1）增加训练样本
（2）加入正则化
（3）dropout
（4）提前停止
2、防欠拟合
（1）加特征
（2）加多项式次数
（3）减小正则化的系数
三、训练步骤
图像输入---->提取图像特征---->前向传播和后向传播---->预测
四、学会SAME、VALID在conv和pool的运用
五、其他
会计算链接数，知道AlexNet有5个卷积层，2个全链接层，采用了全局最大池化、dropout、数据增强技术防过拟合
最后的疑问
卷积核是怎么算的？怎样算是一个卷积核，卷积核的可视化（仔细看看）