Gradient descent

其他 2018-11-12 10:10:52 阅读次数: 0

梯度下降

梯度下降实现最小化 $J(\theta_{0},\theta _{1})$ :

随机获取一个起点 $\theta_{0},\theta _{1}$

重复计算下面公式直到收敛:

$\theta_{j} := \theta _{j} - \alpha\frac{\partial J(\theta_{0},\theta_{1})}{\partial \theta_{j}},\quad j=0,1$

同步更新参数：

$temp0 = \theta_{0} - \alpha\frac{\partial J(\theta_{0},\theta_{1})}{\partial \theta_{0}}$

$temp1 = \theta_{1} - \alpha\frac{\partial J(\theta_{0},\theta_{1})}{\partial \theta_{1}}$

$\theta_{0} = temp0$

$\theta_{1} = temp1$

面临问题：局部最小值，鞍点

动量

为迭代公式加上动量项，动量积累了之前的梯度权重更新值：、

$x_{t+1} = x_{t}+V_{t+1}$

$V_{t+1} = -\alpha \triangledown f(x_{t})+\mu V_{t}$

动量项积累之前的梯度信息，保持惯性，避免来回震荡，加快收敛速度

自适应梯度（Adaptive Gradient）

$g_{t}$ 是第t次迭代时的参数梯度向量， $\varepsilon$ 为防止除0操作：

$x_{t+1} = x_{t}-\alpha \frac{g_{t}}{\sqrt{\sum_{j=1}^{t}g_{j}+\varepsilon }}$

与标准梯度下降不同是多了分母一项，它积累了本次迭代次数为止，梯度历史信息用于生成梯度下降的系数值

Adam（Adaptive moment ）

由梯度构造两个变量m，v。初始值为0：

$\begin{matrix} m_{t} = \beta _{1}m_{t-1}+(1-\beta _{1})g_{t}\\ v_{t} = \beta _{2}v_{t-1}+(1-\beta _{2})g_{t}^{2}\\ \end{matrix}$

其中 $\beta _{1},\beta_{2}$ 为人工设置参数：

$x_{t+1} = x_{t}-\alpha \frac{\sqrt{1-\beta_{2}^{t}}}{1-\beta_{1}^{t}} \frac{m_{t}}{\sqrt{v_{t}}+\varepsilon }$

m替代梯度，v构造学习率

猜你喜欢

转载自blog.csdn.net/linshuo1994/article/details/83060877

梯度下降法Gradient_descent

机器学习笔记（三）梯度下降法 Gradient-Descent 与数据归一化

Gradient descent

Learning to learn by gradient descent by gradient descent 笔记

The Gradient Descent---梯度下降（Gradient Descent）

梯度下降（Gradient Descent）

Gradient Descent with Momentum

梯度下降 — Gradient Descent

梯度下降 Gradient Descent

Gradient Descent Vectorization

Gradient Descent (二)

Lecture 3 - Gradient Descent

Gradient descent and others

Stochastic Gradient Descent

Greedy Algorithm and Gradient Descent

Taylor Series and Gradient Descent

Introduction Of Gradient Descent

（2017 ICML）Learning to learn without gradient descent by gradient descent笔记

梯度下降（Gradient Descent）小结

A review of gradient descent optimization methods

An overview of gradient descent optimization algorithms

梯度下降法 Gradient Descent

（二）梯度下降(Gradient Descent)

深入梯度下降(Gradient Descent)

3、Gradient Descent（梯度下降）

梯度下降（Gradient Descent）（三）

梯度下降（Gradient Descent）（二）

梯度下降（Gradient Descent）（一）

梯度下降法(Gradient descent)

梯度下降算法（Gradient Descent)

今日推荐

《美国对全球网络空间安全与发展的威胁和破坏》报告发布

火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？

北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”

LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍

周排行

让自己的头脑极度开放

CentOS 6.5(x64) 和Redhat6.5操作系误删libc

高可用注册中心

【日记】12.28/【题解】AtCoder AGC041

XML（5）_XML 约束_DTD

Java集合Map（四）

树梅派安装桌面环境教程

pipenv 的使用和安装

小程序白屏问题和内存研究

C语言简单选择排序

每日归档

更多

2024-05-02(0)

2024-05-01(4)

2024-04-30(1)

2024-04-29(40)

2024-04-28(0)

2024-04-27(56)

2024-04-26(39)

2024-04-25(22)

2024-04-24(36)

2024-04-23(26)