caffe中五种层的实现与参数配置（2）------池化层和全连接层

池化层的目的主要是为了降低维度

1.池化层

结构框架

1.1max-pooling（最大池化层）

图中输入为卷积层1的输出，大小为4*24，对每个不重叠的2*2的区域进行降采样，步长为2。对于max-pooling，选出每个区域中的最大值作为输出，例如，左上的（1,1,2,3）最大的是3，右上是3，左下是3，右下是2。而对于mean-pooling，需计算每个区域的平均值作为输出。最终，该层输出一个(4/2)*(24/2)的map。

1.2代码理解

layer {
  name: "pool1"        #该层的名称
  type: "Pooling"        #该层的类型
  bottom: "conv1"    #该层的输入数据blob
  top: "pool1"            #该层的输出数据blob
  pooling_param {
    pool: MAX              #Pool为池化方式，默认值为MAX，可以选择的参数有MAX、AVE、STOCHASTIC
    kernel_size: 2         #池化区域核的大小，也可以用kernel_h和kernel_w分别设置长和宽
    stride: 2                  #步长，即每次池化区域左右或上下移动的距离，一般和kernel_size相同，即为不重叠池化。也可以也可以小于kernel_size，即为重叠池化，Alexnet中就用到了重叠池化的方法
  }
}

2.全连接层

50*4*4=800个输入结点和500个输出结点

代码：

#参数和卷积层表达一样
layer {
name: "ip1"
type: "InnerProduct"
bottom: "pool2"
top: "ip1"
param {
    lr_mult: 1
}
param {
    lr_mult: 2
}
inner_product_param {
    num_output: 500
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
}
}

以下转载：http://www.cnblogs.com/lutingting/p/5240714.html

2. 全连接层相关参数

接下来，分别对全连接层的相关参数进行说明

（根据全连接层层的定义，它的学习参数应该为权值和bias，其他的相关参数都为hyper-paramers，在定义模型时是要给出的）

注：全链接层其实也是一种卷积层，只不过卷积核大小与输入图像大小一致

lr_mult：学习率系数

放置在param{}中

该系数用来控制学习率，在进行训练过程中，该层参数以该系数乘solver.prototxt配置文件中的base_lr的值为学习率

即学习率=lr_mult*base_lr

如果该层在结构配置文件中有两个lr_mult，则第一个表示权值学习率系数，第二个表示偏执项的学习率系数（一般情况下，偏执项的学习率系数是权值学习率系数的两倍）

inner_product_param：内积层的其他参数

放置在inner_product_param{}中

该部分对内积层的其他参数进行设置，有些参数为必须设置，有些参数为可选（因为可以直接使用默认值）

必须设置的参数

num_output：filter个数

其他可选的设置参数

1. weight_filter：权值初始化方法，使用方法如下
  weight_filter{
  type:"xavier" //这里的xavier是一冲初始化算法，也可以是“gaussian”；默认值为“constant”，即全部为0
  }
2. bias_filter：偏执项初始化方法
  bias_filter{
  type:"xavier" //这里的xavier是一冲初始化算法，也可以是“gaussian”；默认值为“constant”，即全部为0
  }
3. bias_term：是否使用偏执项，默认值为Ture