mobilenet v2笔记

MobileNetV2: Inverted Residuals and Linear Bottlenecks
Abstract：
1.依赖于inverted residual structure
2.中间层使用highlight 深度可分离卷积
3.发现去除narrow layers的non-linear结构，有利于提升表征能力。
Introduction：
主要的贡献：the inverted residual with linear bottleneck
低维的input------扩张成高维度（11conv为获得更多特征）------depthwise conv-------linear低维度卷积（最后的11conv不适用relu）
先expend提取更多特征，然后经过depthwise卷积，在压缩。relu函数负半轴为0会损失信息，本来就压缩损失信息了，就不用relu再损失信息了。文中说relu会对通道数少的，损失信息多。如下图。


我们发现通道expend在5-10倍之间是相似的，小的网络用小的扩展率，大的网络用大的扩展率。本文选用6，input为64通道，生成128通道，中间扩展64*6=384通道。