台湾老李--随机、批量、梯度下降

梯度下降算法是机器学习领域求解优化问题的经典算法，直观理解是最快速度下山问题，这里不多说

通常是先定义一个损失函数，这里一般都是采用最典型的最小二乘损失函数：模型值减去目标值的批量样本个数求和

三种形式的梯度下降的不同就在于每次更新时根据的样本个数不同，随机梯度下降每次只根据一个样本跟新参数，收敛较快，单波动性较大，成为在线学习方法；梯度下经是根据整个epoch的全部样本数更新参数，计算量较大，还比较容易卡在鞍点等局部最优点；小批量梯度下降是二者的折中，实际实验中一般采用这种方式。