【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——梯度下降法(Gradient Descent)

2.4 梯度下降法(Gradient Descent)

梯度下降法可以做什么?

在这里插入图片描述
在这里插入图片描述

可以用如图那个小红点来初始化参数w和b,也可以采用随机初始化的方法,对于逻辑回归几乎所有的初始化方法都有效,因为函数是凸函数,无论在哪里初始化,应该达到同一点或大致相同的点。
在这里插入图片描述
我们以如图的小红点的坐标来初始化参数w和b。
2. 朝最陡的下坡方向走一步,不断地迭代
在这里插入图片描述
我们朝最陡的下坡方向走一步,如图,走到了如图中第二个小红点处。
在这里插入图片描述
我们可能停在这里也有可能继续朝最陡的下坡方向再走一步,如图,经过两次迭代走到第三个小红点处。
3.直到走到全局最优解或者接近全局最优解的地方
通过以上的三个步骤我们可以找到全局最优解,也就是代价函数(成本函数)J(w,b)这个凸函数的最小值点。
梯度下降法的细节化说明(仅有一个参数)

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述所以接下来会向右走一步。

在这里插入图片描述

发布了827 篇原创文章 · 获赞 1169 · 访问量 15万+

猜你喜欢

转载自blog.csdn.net/qq_35456045/article/details/105061297