梯度下降
在不一定可解的情况下，不用公式来求最小值，而是通过尝试。线性回归是通过公式来求解。
梯度为求偏导，偏导值为梯度。下降为偏导值的下降方向。
常规套路：机器学习的套路就是交给机器一堆数据，然后告诉它怎样的方向是对的（目标函数），然后它朝着这个方向去做。
梯度下降就是求：什么样的参数能是目标函数达到最小值点。目标函数是误差的表达式，即真实值和预测值的差。
求参数步骤：
1）找到合适的方向（偏导的方向）
2）走小步，走快了怕错过最小值，而只求得极小值。
3）按照放向和步伐更新参数
3种梯度下降算法：
批量梯度下降：考虑所以样本，容易的到最优解，但速度很慢。
随机梯度下降：每次找一个样本，速度快，但不一定都朝着收敛的方向。并不是每个样本都正确。
小批量梯度下降：每次选择一小部分数据来算！实用！！
学习率（步长）：沿着偏导的方向进行更新的长度。过大会错过最小值，过小没问题。所以以选择小的学习率为准。根据实际可调整越来越小。或者一开始为稍微大，越往后学习率越小。