一、序
日付結果に行きましたが、誤ってゴーストネットワークと呼ばれる手術の不思議な魅力のためにCVPR、最善を行っている各パルスの行進、外観を解放されるだろう。
第二に、知人
最初の視覚的、啓発見て驚い生成する残差ブロック対ResNet-50が特徴!しかし、また笑、何かをします。
著者は、それは非常に似ているため、一部の図に非常に似てこれらの特性は、おそらくあなたは、おそらくそれの線形変換を得ることができる必要があり、図中のマークをレンチことを発見しました!
第三に、詳細
-
従来の畳み込み
式(1):Xが入力されるが、fは畳み込み演算を表し、bはオフセットである
X-:C H×W×
F:K×K×C×N-
Y:H ' ×W ' ×N-
FLOPS = H 「 ×W 」 ×C×K×K×N-
畳み込みの核の数を増加させると、生成された増加は、計算量を大幅に増加されたマッピング機能の数は、それが低減するために、明確であること計算少量の図の特徴の数から出発して得ました。
また、著者は、特徴マップ間の冗長性があるため、余分な特徴マップを生成する必要がないことに注意してください。 -
ゴーストモデル
既然没必要生成多余的特征图,那么可以先生成m个特征图(intrinsic feature maps);
X : c×h×w
f’ : c×k×k×m
Y’ : h’×w’×m
FLOPs = h’×w’×c×k×k×m
然后对这m个特征图进行线性变换,得到n = m×s个特征图;
s :线性操作的方式(例如3×3,5×5卷积,激活函数为linear)
另外,保留原始的m个feature maps(Identity mapping),这一点很重要。
设线性变换的卷积核平均尺寸为d×d,可以计算Ghost Module相比普通模型的加速比例:
可以看到,计算量和参数量都可以压缩 s 倍,即有几种线性变换方式就能压缩几倍。
四、总览
- Ghost bottleneck
- GhostNet
对于stride = 2的地方,shortcut采用下采样的方式,并且在两个Ghost module之间插入一个depthwise卷积 - Experiments on ImageNet dataset
五、总结
从作者给出的实验结果来看,轻量级网络又要再添一员大将了,而且实现起来也不复杂,抓紧时间实现一下看看效果如何。