Coursera机器学习课程笔记（十）
1、不同的梯度下降算法
课程中介绍了三种不同的梯度下降算法，分别是批量(batch)梯度下降算法，小批量(mini-batch)梯度下降算法， 随机(stochastic)梯度下降算法：
- 批量梯度下降算法：对m个样本进行计算(计算成本函数和对各theta的偏导)
- 小批量梯度下降算法：每次对少批量的样本计算
- 随机梯度下降算法：一次只对一个样本进行计算
对于小批量梯度下降，必须要将运算向量化实现才是比随机梯度下降更好的算法。
随机梯度下降的前提条件是必须将样本随机排列，然后在依次遍历一个个样本进行梯度下降算法，过程可以如下图表示：
2、在线学习和Map-reduce
在线学习可以看成是实时进行的随机梯度下降算法，不同之处在于在线学习的样本并没有保存在本地，而是根据持续不断的信息来获得的。
Map-reduce可以帮助我们应对大规模数据的运算，以批量梯度下降为例，如果有四台运算机器，就可以实现如下过程：
