1. 画学习曲线图
- x轴是梯度下降算法的迭代次数，y轴是成本函数J的值
- 梯度下降算法的目的是：找到一组w和b，让成本函数J最小
- 学习曲线图可以帮助我们查看成本函数J如何变化。如果梯度下降算法工作正常，那么成本函数J在每次迭代后都会减少。如果成本函数J在一次迭代后增加，那意味着学习率α可能选的太大，或代码有bug。
- 学习曲线图还可以帮助我们判断，梯度下降算法是否收敛。当学习曲线平坦时，梯度下降算法收敛。
2. 自动收敛测试
- ε表示一个很小的数，如0.001。
- 当一次迭代后，成本函数J的减少幅度小于ε，那么曲线很可能位于平坦部分，即梯度下降算法收敛，即找到一组w和b使成本函数J最小，或接近最小。
- 因为找到这样一个正确的ε比较难，所以还是推荐采用画学习曲线图的方法，来判断梯度下降算法是否收敛，以及在多少次迭代后训练模型可以完成训练