RESNET
跳跃连接
RESNEXT
拆分-转换-合并
增加基数（独立路径的数量）来提高准确度比网络加深或扩大来提高准确度更有效。（为什么呢？）
DENSENET
相加改为相并联
加强shortcut，将所有层直接连接在一起
DPN
将残差通道和densely connected path相融合，实现优缺互补
-------------------------------------------以下为轻量级网络-------------------------------------------
MOBILE NET
v1
1. 放弃pooling，直接采用stride=2进行卷积运算，【其他网络，具体应用的时候再看
2. 使用两步卷积代替一步卷积（深度可分离卷积），优点：减少计算量
3. 用两个超参数来控制网络计算速度与准确度之间的平衡，宽度调节参数（调节每一层的channel数），分辨率调节参数（调节输入图像的分辨率）
（啥是轻量化，为啥这个可以做到轻量化呢？）轻量化--参数量少
v2
1. 引入shortcut结构（残差网络）
2. 在进行depthwise之前先进行1*1的卷积增加feature map的通道数，实现feature map的扩张。（inverted residual block，一般的residual block是两头channel多中间feature map的channel少（沙漏形状）。而inverted residual block是两头通道少，中间feature的通道多（梭子形态））（梭子形态有啥好处吗？为啥resnet不用呢？----参数量已经很少了，中间增加一点参数，准确率也会高一点）
3. pointwise结束之后弃用relu激活函数，该用linear激活函数，来防止relu对特征的破坏（为啥relu有破坏，linear不会）
参考博文：https://www.jianshu.com/p/854cb5857070
SHUFFLE NET
分组卷积，交换不同组之间的通道。（shuffle net与resnet相比的优点和缺点）