1. 简单介绍
- 提出一个新的CNN结构叫Inception，GoogLeNet只是其中的一个典型模型
- 好处是在提升了深度和宽度的同时保持了计算时长恒定。效率和效果都有提升。
2. 相关工作
- 已有的CNN标准结构：栈式的卷积层模块化多层堆叠（VGG：Conv2d+BatchNorm+ReLU）+池化+全连接层（带有dropout）效果不错。
- 在Serre et al.的一系列固定但大小不同的Gabor滤波器（Gabor是由视觉皮层神经模型启发而来）的基础上，Inception结构的滤波器是可以学习的。而且这种结构被重复了很多次从而构建了GoogLeNet的22层深度模型。
- 1×1卷积核再次登场。
（1）它们被用来消除计算瓶颈，否则计算瓶颈会限制网络的大小。
（2） 它们不仅提升了深度，而且还在不剧烈影响性能的前提下提升了网络的宽度。深度和宽度都可以增加感知力（Inception含义所在） - R-CNN (Regions with Convolutional Neural Networks) 把检测问题化简为两个子问题：使用颜色和纹理邓低层次线索来生成与类别无关的物体定位和使用CNN对那些位置的物体进行分类 （先定位，后分类）。这种方法利用了低层线索的分割框的精度以及CNN的高度有效的分类能力。Inception也在检测提交中采用了相似的策略并在这两个方面都做了提升。
3. 动机和高层次的考虑
单纯加深度（层数）和宽度（每一层的结点数量）有两大缺点：
（1）参数量太大，更容易过拟合
（2）大大增加了对计算资源的使用
基础的解决方法：增加稀疏度，将全连接层换成比较稀疏的，甚至将卷积层也变稀疏。Arora et al的主要结果表明，如果数据集的概率分布是由一个大的、非常稀疏的深层神经网络表示的，那么通过分析前一层的激活和具有高度相关输出的聚类神经元的相关统计数据，可以逐层最优网络拓扑。
这种思想可以被借鉴，但不幸的是今天的计算机在非均匀稀疏数据结构的数值计算方面非常低效。现在有的是高效的密集计算。
这就提出了一个问题：是否有希望用一个像之前理论所说的利用过滤器级别的稀疏性架构，但利用了现阶段硬件的密集矩阵运算作为中间步骤。
Inception就是为了解决这个问题的。
4. 结构
Inception架构的主要思想
如何使用完备已有的稠密组件来构建最优的卷积视觉网络的局部稀疏结构。
结构描述：
第一个想法：naive版
在靠近Input的较低层，相关单元将关注在局部区域。因此，最后会得到很多注意在单一区域的clusters，在下一层中它们会被1×1卷积核处理。不过，我们仍然可以期待会有一小部分的更宽阔分散的簇可以用更大的卷积核处理，区域越大，更大的卷积核数量越少。为了方便起见，卷积核大小都设置为1×1，3×3和5×5. 这也意味着建议的结构是由以上卷积核的输出拼接成一个大集合，并用它作为下一层的输入。 另外，因为池化层被证明是有用的，所以我们也加入可供选择的平行的池化层。
当这些Inception模块相互堆叠起来，它们的输出相关统计一定会变化：当较高抽象的特征被较高层捕获时，它们的空间集中度会降低。这意味着较高层中3×3和5×5的卷积核数量要增加。
naive的大问题：即使是很少数量的5×5卷积核对于顶端有巨大数量的滤波器的卷积层来说也是很昂贵的开销。 一旦池化层被叠加混合起来，比如输出滤波器的数量等于之前阶段滤波器的数量，问题就会变得更明显。
第二个想法
无论计算需求是否会增加太多，都要明智地减少维度。 这是基于嵌入的成功：即使低维度的嵌入可能会含有大量关于图片中相当大部分的信息。不过，嵌入表明信息的形式是稠密的，压缩的，而这很难处理。而这种信息应该在大多数地方都是稀疏的，或者只有在它们必须聚集在一起时才应该被压缩。这也就是说，1×1的卷积核应该在昂贵的3×3和5×5的卷积核前被用来减少维度。 除此之外，1×1的卷积核还有修正线性激活的作用。
小结
Inception就是一个由以上模块堆叠加上可能的stride为2的池化层而成的网络。由于训练过程中内存效率的原因，保留低层网络的传统卷积形式，只在较高层使用Inception模块是有好处的。
这个网络一个有用的方面就是它允许大量增加每一个阶段的节点而不会无节制的在后面的阶段发生参数爆炸性增长。之所以能达到这种效果，是因为维度削减（1×1卷积核）优先于昂贵的大卷积核（3×3和5×5）。更进一步来说，这种设计紧跟实际直觉，也就是视觉信息应该在不同的尺度上进行处理，然后进行聚合，以便下一阶段能够从不同的维度同时抽象出特征。