目录
- 在大数据集上进行学习（Learning with Large Data Sets）
- 随机梯度下降（Stochastic Gradient Descent）
- 小堆梯度下降（Mini-Batch Gradient Descent）
- 保证随机GD的收敛与学习速率的选择
- 在线学习（Online Learning）
- Map Reduce 和 数据并行化
本博客是针对Andrew Ng在Coursera上的machine learning课程的学习笔记。
***
在大数据集上进行学习（Learning with Large Data Sets）
由于机器学习系统的性能表现往往要求其算法是low biased(在训练集上的训练误差小)，并且在尽可能大的数据集上做训练。
It's not who has the best algorithm that wins. It's who has the most data.
比如对于一般线性回归或者logistic回归，有如图的参数迭代更新的公式，假设我们如果有一百万个训练样本（m=100,000,000），则每一次更新参数都需要做一百万次的加和，那么计算量就很大。另外，对于high bias的算法学习曲线（如下图的靠右图），此时增加样本数量也不太可能减少误差，可能合适地增加输入特征才是更有效的。而如左边的情况high variance，用更大的数据集是更有效的。
随机梯度下降（Stochastic Gradient Descent）
由于之前讲的梯度下降（又称Batch Gradient Descent）在样本量大时计算量非常大，更新速度会很慢，为了避免这个问题，我们可以采用随机梯度下降。
具体做法是：我们不再在对参数进行更新时遍历加总所有样本的误差值，而是每次迭代更新从中只随机选取一个样本进行误差计算，（本质是先将数据集打乱，再逐一进行参数学习，但还是要对所有的样本进行一次遍历），因此保证了参数是在快速地向全局最优解靠近的（但可能由于样本选取的随机性，导致梯度下降的方向并不是那么稳定地向全函数最小值处行进，相当于是牺牲稳度换取速度）。
因此相对于batch GD，stochastic GD可以在很多时候实现更高效地学习。因为stochastic GD每次迭代更新参数，都只需要用到一个样本，而遍历整个样本的轮数可能进行1-10次后就能获得非常好的假设了，而batch GD是每一次更新一个参数都需要遍历整个数据集，那么每次迭代都要用到m个样本。
小堆梯度下降（Mini-Batch Gradient Descent）
小堆梯度下降有时候可以比随机梯度下降速度更快！
小堆梯度下降其实就是将随机梯度下降中只用一个样本进行每轮迭代的做法，变成了用b个样本进行每轮迭代（此之谓mini-batch，因为每轮迭代用到的样本数量在1-m之间）。
而什么时候小堆GD效率会比随机GD高呢？那就是我们有比较好的vectorization的计算实现时。
保证随机GD的收敛与学习速率的选择
如何知道我们的GD算法在像收敛的方向运行？
- 在Batch GD中，我们是画损失函数和GD迭代次数的图像。
- 在Stochastic GD中，我们可以在固定的迭代次数后，画成本函数的在这些迭代上的平均值
下图中蓝色线代表较大的学习速率$\alpha$，红色代表较小的学习速率（每次迭代参数更新的幅度更小）。四幅图代表了stochastic GD的图像可能出现的情况。
上面两幅图的区别是画图的采样点的频率不同，左上方的图是画每迭代1000次的成本函数，右上方的图每迭代5000次的平均成本函数图像。由于分母变大，分子相对变化较小，因此迭代次数高的函数图像更平稳。
下面两幅图也是可能出现的情况。左下方的图蓝色的线是由于学习速率过大，不稳定，应该调小学习速率。而右下方的图则是曲线上扬，说明学习速率太大，算法发散了，也需要调小学习速率。
可以让学习速率随着迭代次数增加而减少，以保证逐渐稳定地收敛到最优解。
在线学习（Online Learning）
在很多机器学习运行的系统中，很多学习数据是不断在产生的，如何可以让系统随着数据的涌入保持学习，而不是只能获得一次性用固定数据训练的模型，以获得更优的性能，就是在线学习所要解决的问题。
给定以下一个快递服务网站的情形：
如图所示，在线学习系统在每次有新的数据产生（一个用户访问了网站，并给出是否使用快递服务的决策）时，系统都会对参数进行一次更新。
另一个例子：电商网站的产品搜索。
Map Reduce 和 数据并行化
有时候，数据集太大，如果只在一台主机上运行，可能很久才能获得结果，于是我们希望可能用尽量少的时间获得好的结果。
首先来看map-reduce的做法：将数据集按照我们手头拥有的计算资源的数量，即我们可以用来运行机器学习算法的主机的数量平均分配。然后，每个主机利用分配给它那部分的样本运行算法，去计算损失函数的偏导数值，并获得一个属于该主机的结果$temp^{(i)}_j$。最后，将所有主机的结果结合在一起，用来对参数做更新。
而很多机器学习算法本质就是对训练集上进行和加总的一些计算。
而其实不是只有多台主机才能实现并行化，在一台多核的主机上也可以进行，做法和多主机的情况是类似的。而且在这种情况下，有一个好处是，不需要担心因为网络延迟导致的数据传输缓慢等问题，而这是多主机并行化可能会面对的问题。