梯度下降算法及改进

梯度下降算法及改进

---

一、梯度下降算法简介

1.梯度下降算法（一种迭代优化方法）

点击可以查看百度百科对梯度下降算法的具体介绍

2.随机梯度下降算法

3.小批量随机梯度下降

)

二、梯度下降算法存在的问题

三、改进

1.动量法

核心：利用累加历史梯度信息更新梯度

2.自适应梯度

核心：减小震荡方向的步长，增大平坦方向的步长，以此减小震荡，加速通往谷底方向。

3.ADAM

核心：同时使用动量和自适应算法

（文章的内容来源：bilibili计算机视觉）