经典卷积神经网络之—–Google Inception Net
特点：
控制了计算量和参数量的同时，获得非常好的分类性能
参数量仅为AlexNet参数量（6000万）的1/12
问题：
1.参数越多模型越庞大，需要供给模型学习的数据量就越大
2.参数越多，耗费的计算资源也更大
创新点：
1.模型层数更深；
2.去除模型最后的全连接层，用全局平局池化（global average pooling）层（将图片尺寸变为1×1）来取代
3.Inception Module
卷积层需要提升表达能力，主要依靠增加输出通道数。
Inception V1
1.Inception Module基本结构：
概念： 1×1的卷积，它可以跨通道组织信息，提高网络的表达能力，同时可以对输出通道升维和降维。
四个分支：
- 分支1：1×1卷积
- 分支2：1×1卷积 + 3*3卷积
- 分支3：1×1卷积 + 5*5卷积
- 分支4：3×3最大池化 + 1×1卷积
一个聚合：
- 在输出通道数这个维度上将这四个分支聚合
2.Inception Module思想：
Hebbian原理：一起发射的神经元会连在一起(Cells that fire together, wire together)
图片数据中，天然的就是临近区域的数据相关性高，因此相邻的像素点被卷积操作连接在一起
1×1的卷积可以很自然的把这些相关性很高的，在同一空间位置但是在不同通道的特征连接在一起。
Inception Module将4个分支中不同尺寸的1×1,3×3,5×5等小型卷积连接在一起，即将相关性很高的节点连接在一起。
越靠前的Inception Module 中，1×1 输出通道数占比最高，3×3,5×5占比稍低。
越靠后的Inception Module 中，3×3,5×5输出通道数占比更高，1×1占比降低。
辅助分类节点，将中间某层的分类加权加到最终分类结果中
Inception V2
1.改进：
1.用两个3*3的卷积代替5*5的大卷积（降低参数量，减轻过拟合）；
2.Batch Normalization:对每一层使用BN，对每一个mini-batch数据内部进行标准化处理，使输出规范化到N(0,1)分布；
3.增大学习速率，加快学习衰减速度；
4.去除LRN；
5.去除Dropout，减轻L2正则（BN已经起到正则化效果）；
6.更彻底地对样本shuffle。
Inception V3
1.改进
1.引入Factorization into small convolutions思想，将一个较大的二维卷积拆成两个较小的一维卷积。论文中指出，这种非对称的卷积结构拆分，其结果比对称地拆为几个相同的小卷积核效果更明显，可以处理更多，更丰富的空间特征，增加特征多样性。
2.优化Inception Module 结构，仅在模型后部出现。
3.分支中使用分支，Network In Network In Network
Inception V4
将Inception Module与ResNet相结合