小批量随机梯度下降法（mini-batch SGD ）

SGD相对来说要快很多，但是也有存在问题，由于单个样本的训练可能会带来很多噪声，使得SGD并不是每次迭代都向着整体最优化方向，因此在刚开始训练时可能收敛得很快，但是训练一段时间后就会变得很慢。在此基础上又提出了小批量梯度下降法，它是每次从样本中随机抽取一小批进行训练，而不是一组。

主要思想

其主要思想就是每次只拿总训练集的一小部分来训练，比如一共有5000个样本，每次拿100个样本来计算loss，更新参数。50次后完成整个样本集的训练，为一轮（epoch）。由于每次更新用了多个样本来计算loss，就使得loss的计算和参数的更新更加具有代表性。不像原始SGD很容易被某一个样本给带偏。loss的下降更加稳定，同时小批量的计算，也减少了计算资源的占用。

公式推导

每一次迭代按照一定的学习率α沿梯度的反方向更新参数，直至收敛，公式
$\theta _{t+1} = \theta _{t}-\alpha \frac{df}{d\theta }$
接下来我们回到房价预测问题上。

这是mini-batch 梯度下降法, k表示每一个batch的总样本数：
step1：
$y_{p,i} = ax_i + b \qquad \qquad loss_{batch} = \frac{1}{2m}\sum_{i=1}^{m}(y_{p,i}-y_i)^2$

step2：要优化的参数有两个，分别是a和b，我们分别对他们求微分，也就是偏微分
$\frac{\partial loss_{batch}}{\partial a} = \frac{1}{k}\sum_{i=1}^{k}(ax_i+b-y_i)x_i \qquad \qquad \frac{\partial loss_{batch}}{\partial b} = \frac{1}{k}\sum_{i=1}^{k}(ax_i+b-y_i)$

step3： $\frac{\partial loss}{\partial a}$ 记为 $\bigtriangledown a$ ， $\frac{\partial loss}{\partial b}$ 记为 $\bigtriangledown b$ ，分别表示loss在a、b方向的梯度，更新参数的方式如下
$a_{new} = a - \alpha ▽a \qquad \qquad b_{new} = b - \alpha ▽ b$

算法实现

下面是 mini-batch SGD方法的训练结果
在这里插入图片描述
由于我的训练样本比较少，所以选择了比较大的学习率来体现效果。mini-batch SGD中，每次选择3个样本作为一个batch进行训练。容易看出，波动的减小还是比较明显。同时收敛的速度也是大大加快，几乎一步就走到了合适的参数范围。

小批量随机梯度下降伪代码

输入参数：rate， $\overrightarrow{x}$ ， $\overrightarrow{y}$ ，scope
============> rate为设定的学习率
============> $\overrightarrow{x}$ 为给定的模拟数据
============> x取值范围
============> scope 训练次数
输出参数：a，b，loss
1）：初始化a，b
2）：for i in len(x)
A：更新x的值： x[i] = (x[i] - x_min)/(x_max - x_min)
B：更新y的值： y[i] = (y[i] - y_min)/(y_max - y_min)
3）：for step in scope
$\qquad$ A：随机打乱x，y的数据，并且保持x和y一一对应：shuffle_data(x,y)
$\qquad$ B：将x分为group组，每组x_new=x/group个样本
$\qquad$ C：for i in len(x_new)
$\qquad \qquad$ A：累加all_da的值：all_da = all_da +da(y_new[i],y_p,x_new[i])
$\qquad \qquad$ B：累加all_db的值：all_db = all_db_db(y_new[i],y_p,x_new[i])
$\qquad$ D：更新a旳值：a = a - rate × all_da
$\qquad$ E：更新b旳值：b = b - rate × all_db
4）end
由于mini-batch SGD 比 SGD 效果好很多，所以人们一般说SGD都指的是 mini-batch gradient descent. 大家不要和原始的SGD混淆。现在基本所有的大规模深度学习训练都是分为小batch进行训练的。

总结：
batcha_size的选择带来的影响：
（1）在合理地范围内，增大batch_size的好处：
a. 内存利用率提高了，大矩阵乘法的并行化效率提高。
b. 跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
c. 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。
（2）盲目增大batch_size的坏处：
a. 内存利用率提高了，但是内存容量可能撑不住了。
b. 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。
c. Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。

代码实现：https://github.com/admin110/s0/blob/master/MSGD.py

几种算法的比较

为了便于理解，这里我们将使用只含有一个特征的线性回归来展开。此时线性回归的假设函数为：
$y(x^{(i)}) = y_θ(x^{(i)}) = θ_0 + θ_1x^{(i)} = θ_TX$
这里我们使用了偏置项 $x_0^{(i)}=1$ 。

1. 批量梯度下降（Batch Gradient Descent，BGD）

批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。从数学上理解如下：
对应的目标函数（代价函数）为：
$loss = J(\theta ) = \frac{1}{2m}\sum_{i=1}^{m}(y_{ \theta }(x^{(i)})- y^{(i)})^{2}$
（1）对目标函数求偏导：
$\frac{\partial loss^{(i)}}{\partial \theta _j} = \frac{1}{m}\sum_{i=1}^{m}(y_{ \theta } (x^{(i)})- y^{(i)})x_j^{(i)}$
其中 i=1,2,…,m 表示样本数， j=0,1 表示特征数
（2）每次迭代对参数进行更新：
$\theta_ j \leftarrow \theta_ j -\alpha \sum_{i=1}^{m}(y_{ \theta } (x^{(i)})- y^{(i)})x_j^{(i)}$
注意这里更新时存在一个求和函数，即为对所有样本进行计算处理，可与下文SGD法进行比较。

2. 随机梯度下降（Stochastic Gradient Descent，SGD）

随机梯度下降法不同于批量梯度下降，随机梯度下降是每次迭代使用一个样本来对参数进行更新。使得训练速度加快。
对于一个样本的目标函数为：
对应的目标函数（代价函数）即为：
$loss = J(\theta ) = \frac{1}{2}(y_{ \theta }(x^{(i)})- y^{(i)})^{2}$
（1）对目标函数求偏导：
$\frac{\partial loss^{(i)}}{\partial \theta _j} = (y_{ \theta } (x^{(i)})- y^{(i)})x_j^{(i)}$
（2）每次迭代对参数进行更新：
$\theta_ j \leftarrow \theta_ j -\alpha (y_{ \theta } (x^{(i)})- y^{(i)})x_j^{(i)}$
注意，这里不再有求和符号
解释一下为什么SGD收敛速度比BGD要快：
答：这里我们假设有30W个样本，对于BGD而言，每次迭代需要计算30W个样本才能对参数进行一次更新，需要求得最小值可能需要多次迭代（假设这里是10）；而对于SGD，每次更新参数只需要一个样本，因此若使用这30W个样本进行参数更新，则参数会被更新（迭代）30W次，而这期间，SGD就能保证能够收敛到一个合适的最小值上了。也就是说，在收敛时，BGD计算了 10×30W 次，而SGD只计算了 1×30W 次。

3. 小批量梯度下降（Mini-Batch Gradient Descent, MBGD）

小批量梯度下降，是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代使用 b = batch_size 个样本来对参数进行更新。
对应的目标函数（代价函数）为：
$loss = J(\theta ) = \frac{1}{2b}\sum_{i=1}^{b}(y_{ \theta }(x^{(i)})- y^{(i)})^{2}$
（1）对目标函数求偏导：
$\frac{\partial loss^{(i)}}{\partial \theta _j} = \frac{1}{b}\sum_{i=1}^{b}(y_{ \theta } (x^{(i)})- y^{(i)})x_j^{(i)}$

（2）每次迭代对参数进行更新：
$\theta_ j \leftarrow \theta_ j -\alpha \sum_{i=1}^{b}(y_{ \theta } (x^{(i)})- y^{(i)})x_j^{(i)}$

对比图如下：

-	BGD	SGD	MSGD
伪代码	repeat{ $\theta_ j = \theta_ j - \alpha \sum_{i=1}^{m}(y_{ \theta } (x^{(i)})- y^{(i)})x_j^{(i)}$ }	repeat{ for i=1,…,m{ $\theta_ j = \theta_ j -\alpha(y_{ \theta } (x^{(i)})- y^{(i)})x_j^{(i)}$ } }	repeat{ for i=1,…,b{ $\theta_ j = \theta_ j -\alpha \sum_{i=1}^{b}\alpha(y_{ \theta } (x^{(i)})- y^{(i)})x_j^{(i)}$ } }
优点	（1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。（2）由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。	（1）由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。	（1）通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。（2）每次使用一个batch可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。（3）可实现并行化。
缺点	（1）当样本数目 m 很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。	（1）准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。（2）可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势. （3）不易于并行实现。	（1）batch_size的不当选择可能会带来一些问题。

好了，梯度算法到这就告一段落了。

上一篇：[梯度下降法(Gradient Descent)优化函数的详解（2）随机梯度下降法（SGD Stochastic Gradient Descent）]
(https://blog.csdn.net/qq_25628891/article/details/83245184)

梯度下降法(Gradient Descent)优化函数的详解（3）小批量随机梯度下降法（mini-batch SGD ）