CNN Network Structure4

• 前言: …
  
  
• 
  
  

0 More Details: HomeLink

1 ShuffleNet-V1

1.1 Ideas: 1*1 Group Conv

• 其实，想象一下，DConv 就是极端的GConv, 只不过是把Group分成了Channel份
  不难发现，每个Group并不能看大整个的Input Features，所以有了下面所谓的Channel Shuffle的概念

• 再次，比较显著的可视化一下
  
• 下面对比一下，围绕相同点和不同点
  

1.2 ShuffleNet framework

• 看一下网络结构
  

2 ShuffleNet-V2

2.1 Paper-ShuffleNet-V2:

2.2 Ideas: Time=T(FLOPS)+T(I/O)

• 提出的四点思想很重要
  重要思想与解释如下
  G1.要想访问内存的花销最小，需要输入与输出的 尺寸一致，channel of blok I/O
  

• G2. 过度的GConv会增加花销
  

• G3. 网络的碎片化会降低并行性，即网络是尽可能的一条而不是一片…
  

• G4. Eltwise 操作的影响是不可忽视的，会带来很大花销
  

2.3 Structure

2.4 Comparison

• It skip connection is very much like DenseNet.
  The difference is it just map half the feature.
  ShuffleNet – V2 has better result.
  

3 Summary

• ShuffleNet – V2 > MobileNet – V2 > ShuffleNet > MobileNet > SqueezeNet

• 1st Choice: ShuffleNet/MobileNet-V2
  2nd Choice: MobileNet
  
  

• Here are some other papers worth reading:Xception / ResNeXt / MobileID …