solver算是caffe的核心的核心，它协调着整个模型的运作。caffe程序运行必带的一个参数就是solver配置文件
在Deep Learning中，往往loss function是非凸的，没有解析解，我们需要通过优化方法求解。solver的主要作用就是交替调用前向（forword）算法和后向（backward）算法来更新参数，从而最小化loss，实际上就是一种迭代的优化算法。
Solver的流程：
1. 设计好需要优化的对象，以及用于学习的训练网络和用于评估的测试网络。（通过调用另外一个配置文件prototxt来进行）
2. 通过forward和backward迭代的进行优化来跟新参数。
3. 定期的评价测试网络。（可设定多少次训练后，进行一次测试）
4. 在优化过程中显示模型和solver的状态
在每一次的迭代过程中，solver做了这几步工作：
1、调用forward算法来计算最终的输出值，以及对应的loss
2、调用backward算法来计算每层的梯度
3、根据选用的slover方法，利用梯度进行参数更新
4、记录并保存每次迭代的学习率、快照，以及对应的状态。
solver.prototxt是caffe的配置文件。里面定义了网络训练时候的各种参数，比如学习率、权重衰减、迭代次数等等。下面详细说明每一个参数所代表的意义：
train_net:"train.prototxt"
test_net:"test.prototxt"
test_iter: 299
test_interval: 224
base_lr: 0.01
display: 20
max_iter: 6720
lr_policy: "step"
gamma: 0.1
power: 0.75
momentum: 0.9
weight_decay: 0.0001
snapshot: 224
snapshot_prefix: "snapshot"
solver_mode: GPU
device_id:0
debug_info:false
snapshot_after_train:true
test_initialization:false
average_loss:10
iter_size:1
stepsize:2218
type: SGD
eval_type:"detection"
ap_version:"11point"
show_per_class_result:true
参数解释：
train/test_net：训练/测试的模型文件路径。
test_iter：表示网络的测试迭代次数。网络一次迭代将一个batchSize的图片进行测试，所以为了能将validation集中所有图片都测试一次，这个参数乘以TEST的batchSize应该等于validation集中图片总数量。即test_iter*test_batchSize=val_num。
test_interval：表示网络迭代多少次进行一次测试。一次迭代即一个batchSize的图片通过网络正向传播和反向传播的整个过程。比如这里设置的是224，即网络每迭代224次即对网络的准确率进行一次验证。一般来说，我们需要将训练集中所有图片都跑一编，再对网络的准确率进行测试，整个参数乘以网络data层（TRAIN）中batchSize参数应该等于测试集中图片总数量。即test_interval*train_batchSize=train_num。
base_lr：表示网络的基础学习率。学习率过高可能导致loss持续86.33333，也可能导致loss无法收敛等等问题。过低的学习率会使网络收敛慢，也有可能导致梯度损失。一般我们设置为0.01。
display: 每多少次显示一次。
max_iter: 网络的最大迭代次数。训练集中的图片当然不能只训练一次就算了，要反复多次的进行训练，所以这个参数应该要大一些。
lr_policy: 学习率变化。
lr_policy可以设置为下面这些值，相应的学习率的计算为：
o - fixed: 保持base_lr不变.
o - step: 如果设置为step,则还需要设置一个stepsize, 返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数
o - exp: 返回base_lr * gamma ^ iter， iter为当前迭代次数
o - inv: 如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)
o - multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似，step是均匀等间隔变化，而multistep则是根据stepvalue值变化
o - poly: 学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)
o - sigmoid: 学习率进行sigmod衰减，返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
gamma: 学习率变化比率。用于调整学习率的一个参数。
power: 也是用于调整学习率的一个参数
momentum: 上一次梯度更新的权重，一般取值在0.5--0.99之间。通常设为0.9，momentum可以让使用SGD的深度学习方法更加稳定以及快速。
weight_decay: 权重衰减项，防止过拟合的一个参数。weight decay（权值衰减）使用的目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。。
snapshot: 每多少次保存一次学习的结果。即caffemodel。
snapshot_prefix：设置保存路径。
solver_mode: 设置使用GPU还是CPU进行学习训练。
device_id: GPU序列号，默认从０开始。
debug_info: 是否显示debug信息。
snapshot_after_train: 是否在训练结束后保存一个snapshot文件。便于以后可以在此基础上继续训练。
test_initialization:确保内存可用并且输出loss的初始值。
average_loss: 显示loss为之前average_loss个loss的平均值。
iter_size: 每处理iter_size＊batch_size张图片后进行一次梯度计算。
stepsize: 每多少次学习率递减。这里是迭代2218次学习率递减
type: 优化算法的选择，一共有六种可选：SGD、AdaDelta、AdaGrad、Adam、Nesterov和RMSProp。默认为SGD。
eval_type: 评价类型。
ap_version:计算平均准确率的方法。有11point、MaxIntegral、Integral三种。
11point：是SSD在VOC2007中计算AP的方法，11point是使用简单的均值计算
MaxIntegral：是VOC2012的最大值积分法
Integral：普通积分方法
show_per_class_result:在终端输出每一类的AP（每一类的检测精度）信息。
