(五）神经网络进阶(各种网络结构）

1. AlexNet（2012）：
   （1）首次使用Relu
   （2）双GPU并行结构
   （3）1，2，5卷积层后跟随max-pooling层
   （4）两个全连接上使用了dropout(随机冻结）以降低过拟合
   .

.
.

2. VGGNet(2014):

    		2个3*3相当于1个5*5
    		2层比一层更多一次非线性变换
    		参数数量降低百分之28
    		。
    		。
    		。
    		网络结构
    		训练技巧：1.先训练浅层网络，再去训练深层网络
    							2.多尺度输入：不同尺度训练多个分类器，然后做ensemble,随机使用不同的尺度缩放然后输入进分类器进行训练
   

。
。
。
。

3. ResNet:

   	解决深层学习性能下降问题。
   	残差结构使得网络需要学习的知识变少，容易学习
   	残差结构使得每一层的数据分布相近，容易学习
   	没有全连接层
   

4. InceptionNet(分组卷积）有很多的优化空间！！！！
   … 用前面三个卷积的方式来优化

…
.
.
.
.
.

5. MobileNet
   引入深度可分离卷积，在分组卷积的基础上分到极致，卷积核只读一个通道

• [1 ] 普通卷积计算量 =KhCiCoOwOh
• [ 2] 深度可分离卷积计算量=KwKhCoOwOh,(只接一个通道）
• ‘’‘’‘’‘’‘’‘’11卷积=CiCoOwOh
  优化比例=1/Ci+1/Kw*Kh