Stochastic Gradient Descent
随机梯度下降每次只对一个数据进行计算，相对传统的批处理梯度下降运行速度更快一些。
Mini-Batch Gradient Descent
Stochastic Gradient Descent Convergence
虽然不断减小alpha的值有助于我们找到全局最小，但是这个会让工作量增加，而且找到最小的范围已经满足我们的需要了，因此一般我们不这么做。
Online Learning
我们会做的是获取 一个用户样本 从那个样本中学习 然后 丢弃那个样本并继续下去 而且如果你对某一种应用有一个连续的 数据流 这样的算法可能会 非常值得考虑 当然 在线学习的一个优点 就是 如果你有一个变化的 用户群 又或者 你在尝试预测的事情 在缓慢变化 就像你的用户的 品味在缓慢变化 这个在线学习 算法可以慢慢地 调试你所学习到的假设 将其调节更新到最新的 用户行为
Map Reduce and Data Parallelism
