常规卷积
假设：
输入feature map是一个尺寸为 Wi * Hi，输入通道数为Ci的张量X，
输出feature map是一个尺寸为Wo * Ho，输出通道数为Co的张量Y，
假设核张量是K，其形状为Co * Ci * Wk * Hk
那么参数数量为：
Wk * Hk * Ci * Co
参数数量只跟卷积核大小（Wk * Hk * Ci）和卷积核个数有关
Because 卷积操作是共享权重
计算代价为：
Wk * Hk * Ci * Co * Wo * Ho
because 卷积操作是局部连接
Wk * Hk * Ci * Co 得到的是输出map的一维度的数据，输出feature map共有Wo * Ho个维度（个人理解，有其它的理解方式）。
也可以理解为Wk * Hk * Ci * Co是输出feature map的一个点，这个点有Co通道，
输出feature map共有Wo * Ho个点
深度可分离卷积
深度可分离卷积将完整的卷积操作分解为两步。
假设 核张量是Wk * Hk *Ci
- 先对输入的各个通道执行滤波，输出尺寸为Wo * Ho，输出通道数与输入通道数相同，参数数量是Wk* Hk* Ci，计算代价为 Wo * Ho * Ci * Wk * Hk
- 然后对各个通道滤波得到的feature map做1 * 1卷积， 输出通道数是Co。参数数量是1 * 1 * Ci * Co（注意这里与常规卷积操作相同，唯一不同的是卷积核大小变成 1* 1），计算代价为 Ci * Wo * Ho * Co。
上述深度可分离两步的相加结果 = 常规卷积的结果
深度可分离卷积参数总量：
Wk* Hk* Ci + Ci * Co
约为常规卷积的
1/Co + 1/Wk * Hk
深度可分离卷积计算代价总量：
Wo * Ho * Ci * Wk * Hk + Ci * Wo * Ho * Co
约为常规卷积的
1/Co + 1/Wk * Hk
通常卷积核采用3x3 卷积，而Co >>9，因此深度可分离卷积的参数数量和计算代价都是常规卷积的1/8 - 1/9
深度可分离卷积与Xception块区别
1.操作顺序不同：
深度可分离卷积首先执行channel-wise空间卷积，然后再执行11卷积。
Xception块首先执行11卷积，然后进行channel-wise空间卷积。
2.第一次卷积操作之后是否存在非线性：
深度可分离卷积只有第二个卷积1*1卷积使用了ReLU非线性激活函数，channel-wise空间卷积不使用非线性激活函数。
Xception块的两个卷积都使用了ReLU非线性激活函数。
http://www.sohu.com/a/317166403_394987
http://www.sohu.com/a/317166403_394987
