梯度下降（一）--机器学习

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/xd15010130025/article/details/88753664

我们开始考虑怎样优化 $\theta_0,\theta_1$,使得我们获取到最小的 $J(\theta_0,\theta_1)$?解决方法时我们要讨论的梯度下降算法。

1.梯度算法介绍

我们先在图上随便选一个点，环顾四周，选择下降最快的那个点，选定步伐，到达下一个点，继续前一步操作，在这个点上再选择下降最快的方向，选定步伐，在到达下一个点。一直到没法再做下去为止。

2.特点

和上图比较，梯度下降可能会有不同的局部最优解。

3.梯度下降的数学原理

解释一下算法式：

• $:=$表示赋值运算，相当于编程时候的=。
• $\alpha$代表学习因子，他代表梯度下降迈的步子的大小。
• 做到同时更新 $\theta_0,\theta_1$
• 举例正确的写法和错误的写法