【Interview】GoogLeNet、ResNet、ShuffleNet、MobileNet 文字版

• GoogLeNet（Inception-v1）
  相比AlexNet和VGG，出现了多支路，引入了1×1卷积帮助减少网络计算量

• Inception-v2
  引入Batch Normalization(BN)；5×5卷积使用两个3×3卷积代替

• Inception-v3
  非对称卷积（n×n卷积分割为1×n和n×1两个卷积）;
  new pooling （为了防止信息丢失且不增加计算量，把串联的pooling conv 改为并行的conv、pool然后concat）
  Label smooth

• Inception-v4
  引入ResNet的shortcut思想

• Xception
  Separable Convolution
  normal conv (3×3,256)
  (1×1,256)
  (3×3,1)

• ResNeXt
  引入新维度cardinality

  256d in-(256,1×1,64)-(64,3×3,64)-(64,1×1,256)-sum x-256-d out
  →改为→
  256d in-(256,1×1,4)*32-(4,3×3,4)*32-(4,1×1,256)*32-concat-sum x-256-d out (32 paths 采用相同的卷积参数）
  block depth>3时使用

• PreAct ResNet
  conv-bn-relu-sum x-relu →改为→ bn-relu-conv-bn-relu-conv-sum x

• SENet
  x→(c×h×w)→Global pooling(c×1×1)→fc(c/16×1×1)→fc(c×1×1)→sigmoid(c×1×1)→scale*x(c×h×w)

• MobileNet V1
  Depthwise Separable Convolution
  normal conv (et. 3×3,256)
  depthwise convolution (3×3,1)
  pointwise convolution (1×1,256)

• MobileNet V2
  Depthwise Separable Convolution 同v1
  改进：具有线性瓶颈的倒残差结构(the inverted residual with linear bottleneck)；
  Residuals block (1×1→3×3→1×1 channel先压缩再扩张 ）
  Inverted residuals (1×1→3×3→1×1 channel先扩张再压缩,因为DW 卷积没有改变通道数的能力，低维空间提特征效果不好）
  linear bottleneck （ remove last PW Relu 。激活函数在高维空间能够有效的增加非线性，而在低维空间时则会破坏特征，第二个 PW 的主要功能就是降维）

  v1 in → DW 3×3 → Relu → PW 1×1 → Relu → out
  v2 in → PW 1×1 → DW 3×3 → Relu → PW 1×1 → out

• MobileNet V3
  引入的基于squeeze and excitation结构的轻量级注意力模型
  优化激活函数
  用了NAS

• DPN
  High Order RNN结构（HORNN）结合 ResNeXt和DenseNet

• ShuffleNet V1
  Channel Shuffle for Group Convolutions

• ShuffleNet V2
  仅仅使用FLOPs作为衡量标准是不全面的，其中一个忽略的因素就是MAC（memory access cost）
  使用“平衡的”的卷积层（输入输出通道相同）；
  小心使用分组卷积；
  减少使用碎片化的操作；
  减少元素级的操作；

  弃用了1x1的group convolution
  Channel Split：把特征图分成两组A和B
  A组 认为是short-cut；B组经过 bottleneck 输入输出channel一样
  最后concat A和B
  concat后进行Channel Shuffle