小批量梯度下降法MBGD

小批量梯度下降法（Mini-batch Gradient Descent，简称MBGD）：

它的具体思路是在更新每一参数时都使用一部分样本来进行更新，也就是方程中的m的值大于1小于所有样本的数量。

为了克服上面两种方法（批量梯度下降BGD和随机梯度下降SGD）的缺点，又同时兼顾两种方法的优点。

如果样本量比较小，采用批量梯度下降算法。如果样本太大，或者在线算法，使用随机梯度下降算法。在实际的一般情况下，采用小批量梯度下降算法。