内容如下：
-
MobileNetV1,V2,V3总结
-
补充
MobileNet V1
MobileNet v1就是把VGG中的卷积都换成了深度可分离卷积,还有一个不同是采用的是ReLU6，这个激活函数在6的时候有一个边界，论文中提到说这样“可以在低精度计算下具有更强的鲁棒性”。
MobileNet V1网络结构如下：
MobileNet V2
不少学者发现在深度卷积中，不少卷积核是空的，这也就说明有不少没有参与运算。而v2的作者认为，这种情况主要是因为ReLU的原因。也解释了ReLU在低维空间运算中会损失很多信息，而在高维空间中会保留很多有用信息。因此就提出了the inverted residual with linear bottleneck。
Linear Bottleneck：就是把PW的ReLU6都换成了线性函数。
Expansion layer：然而DW（depthwise Conv）仍然没有扩张通道的能力，DW还是只能在低维度上工作，因此在DW之前加了一个PW（pointwise Conv d=6）用来**“扩张”**通道。
Inverted residuals：在深度可分离卷积中又加入了一个shortcut。
Inverted residual与Residual block对比：（1、维度先升后降，2、用深度可分离卷积，3、用线性激活函数） Inverted residual是先进行升维，再接dw layer+relu，最后在降维+linear，并且还做了shortcut connection，Residual block是先降维，再接卷积+relu,最后再升维，降维的目的是减少计算量。
MobileNet V1与V2的对比：V2加入了shortcut连接，扩充了维度，并且在输出端pointwise卷积用了线性激活而不是Relu
MobileNet V2网络结构：
MobileNet V3
使用了NAS（神经网络架构搜索）
引入基于squeeze and excitation结构的轻量级注意力模型(SE)
加入h-swish激活函数
网络首尾做了些细节上的创新，用了5*5的卷积
MobileNetV3 block（加入SE模块）:
swish:
h-swish:
sigmodi与h-sigmoid，swish与h-swish效果：
在网络结构上的改进： 对于网络首尾计算量大的部分进行调整缩减
对于MobileNetv2计算量大的尾部部分，实验发现最后提取特征的1*1卷积作用在7*7和1*1接受域上的准确率相同，于是移动这层卷积的位置。这样最后一个用来减小计算量的bottleneck就没有必要了，所以直接去掉了这两层。这使得总体的计算量和latency都大大降低
对于V2计算量大的第一层，因为为了提取信息使用3*3全卷积，通过使用h-swish代替relu的方式提高了精度，所以削减了第一层的filter数，从32减到16
MobileNet V3网络结构：
补充
分离卷积主要被分为 空间可分离卷积 和 深度可分离卷积。
空间可分离卷积： 主要是在卷积核上的操作。详细的说，是将一个33的卷积核，拆分成一个13和一个3*1。
深度可分离卷积（depthwise separable Conv）：其主要划分为两步 深度卷积（Depthwise Conv）和 逐点卷积（Pointwise Conv）。
深度卷积其实就是将其对每个channel单独进行卷积。
逐点卷积就是用1*1的Conv来进行相应的特征提取
参考：https://blog.csdn.net/qq_19329785/article/details/93775126
