Network in Network----MLPConv结构

一、先看一个示意的MLPConv

在 卷积神经网络中,无论是输入还是输出,不同的 feature map 之间的卷积核是不相同的;

在mlpconv中,不同的 feature map 之间的开头与结尾之间的权值不一样,而在 隐含层之间的权值是共享的;

    第一层的卷积核大小为2*2, 步长为1, 输入为2*(4 *4), 输出为 4*(3*3);普通卷积层

    第二层的卷积核大小为1*1, 步长为1, 输入为4*(3 *3), 输出为 3*(3*3);CCCP层

    第三层的卷积核大小为1*1, 步长为1, 输入为3*(3 *3), 输出为 2*(3*3);CCCP层

二、什么是1*1的卷积核

NIN 级联的跨特征图(Feature Map)整合过程,可以使得网络学习到复杂和有用的跨特征图特征,细看 NIN 的 caffe 实现,在每个传统卷积层后面接了两个 cccp 层(cascaded cross channel parametric pooling),实际上为两个1×1的卷积层,因此跨通道的参数化感知层等效于一个卷积核为1*1 的卷积层:

三、作用

1.在每个局部感受野中增加更复杂的运算,代替使用大量滤波器,从而减少参数。

2.引入更强的非线性,Conv+CCCP+CCCP,3层每层都接relu

3.1*1卷积核在GoogleNet里可以起到降维的作用。

猜你喜欢

转载自www.cnblogs.com/mimandehuanxue/p/8993803.html
今日推荐