1、Caffe Solver
Caffe Solver通过协调Net的前向推断计算和反向梯度计算对参数进行更新，从而达到减小loss的目的。Caffe模型的学习分为两个部分：Solver优化、更新参数、以及Net计算loss和gradient。
Caffe支持Solvers有：
- Stochastic Gradient Descent （SGD）随机梯度下降
- AdaDelta
- Adaptive Gradient（AdaGrad）自适应梯度
- Adam
- Nesterov's Accelerated Gradient （Nesterov）
- RMSprop
Caffe Solver的主要功能包括：
- 优化过程记录，创建训练网络和测试网络；
- 通过forward和backward来迭代优化和更新参数；
- 周期性地用测试网络评估模型性能；
- 在优化过程中记录模型和Solver状态的快照。
每一次迭代完成以下功能：
- 调用Net的前向过程计算输出和loss；
- 调用Net的后向过程计算梯度；
- 根据Solver方法，利用梯度更新参数；
- 根据学习率，历史数据和求解方法更新Solver状态，使权重从初始化状态逐步更新到最终的学习状态。
2、Solver方法
Solver方法是计算最小化损失（loss）值。给定一个数据集D，优化额目标是D中所有数据损失的均值，即平均损失，取得最小值。
参考：《深度学习——Caffe之经典模型详解与实战》