【论文阅读笔记2】Inception系列论文小结

        这一系列论文主要探究的是如何scale up网络（加深和变宽两个方面）的同时，尽可能减少计算量。

一、Inceptionv1

论文名称：Going deeper with convolutions（可精读）

简介：GoogleNet的最早版本，当年ImageNet大赛的的第一，基于NIN网络提出。

亮点：

1. 提出了Inception module,代替人工决定了卷积层或池化层的大小或者是否添加这些层，提高了模型的尺度适应性（详见参考文献【1】），使得网络更宽。
2. 应用了NIN网络中的1*1 conv,用于降维，减少计算量。

参考：

【1】一文概览Inception家族的「奋斗史」

            看Inceptionv1  问题部分即可。

【2】系统学习深度学习（十九）--GoogLeNetV1,V2,V3

           这篇博文基本把论文的要点都翻译总结了一遍，比较详细。

二、Inceptionv2

论文名称：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift（论文没看）

简介：提出了批标准化，一种常用的优化策略。通常和minibatch一起使用。

参考：

        吴恩达《深度学习》微专业课对此有较详细的讲解。在改善深层神经网络部分第三周内容。

三、Inceptionv3

论文名称：Rethinking the Inception Architecture for Computer Vision（精读2、3部分，4、5、7了解）

简介：在v2的基础上进行的改进。

改进点：

1. 分解卷积。（个人理解：VGG里面已经应用了这一方法，不过这篇论文升华了一下，使得更加系统）
2. 辅助分类器的使用（我还没看这部分。。。）
3. 池化层优化：为了减少计算量，怎么实现的看论文中的图即可。
4. 平滑标签：为了提升精确度。如何实现的要看懂公式。

参考：

【1】系统学习深度学习（十九）--GoogLeNetV1,V2,V3

           把要点概括得很详细。

四、ResNet（不属于该系列）

论文名称：Deep Residual Learning for Image Recognition（不长，精读）

简介：第一作者何凯明，2015年提出的。在VGG19上修改的。

要点：提出了残差块用于解决退化问题。通过短路连接（shortcut connection,另外skip connection也指的这个）实现等效映射（identity mapping）。

参考

你必须要知道CNN模型：ResNet

五、Inceptionv4

论文名称：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

没有细看论文，只知道是用Inception module代替了原本残差块中卷积部分。

若要进一步探究可看一文概览Inception家族的「奋斗史」

之后一些人对Inception网络做了进一步的改进，可看从Inception v1,v2,v3,v4,RexNeXt到Xception再到MobileNets,ShuffleNet,MobileNetV2    反正我还没看。

下一步学习任务：看VGG16、GoogLeNet、Inception-ResNet的Tensorflow代码并试运行。