关于深度学习的backpropagation - 代码天地

关于深度学习的backpropagation

其他 2019-01-19 18:02:23 阅读次数: 0

loss function：

$c = 0.5*(y^n-y^t)^2$

在gradient descent时： $\tfrac{\partial C}{\partial w_i_j^l } = \tfrac{\partial C}{\partial z_j^l }*\tfrac{\partial z_j^l }{\partial w_i_j^l }$ （前向*后向）

前向： $\tiny \\z^l & = w^l * x^l + b^l \\ a^l & = \sigma (z^l) \\ x^l = a^{l-1}$ 所以 $\tfrac{\partial z_j^l}{\partial w_i_j^l } = x^l_j=\alpha^{l-1}_i$

后向：

$\tfrac{\partial C}{\partial z^l} = [\tfrac{\partial C}{\partial a_1^l }* \sigma ^{'}{(z^l_1)},...,\tfrac{\partial C}{\partial a_n^l }* \sigma ^{'}{(z^l_n)}]$

$\tfrac{\partial C}{\partial z^{l-1}} = [\tfrac{\partial C}{\partial w^{l}}] *[\tfrac{\partial C}{\partial z^{l}}] *\sigma^{'}(z^{l-1})$

$x^l * \sigma(z^{l-1}) -> *w ^l>x^{l-1}$

注：截图来自台湾大学李宏毅教授课程PPT，对于我本人理解BP很有启发

后向求导具体过程：

$\\\tfrac{\partial C}{\partial z_j^l } = \tfrac{\partial C}{\partial a_j^l }*\tfrac{\partial a_j^l }{\partial z_j^l } \\ ...... ={\color{Red} \tfrac{\partial C}{\partial a_j^l }* \sigma ^{'}{(z^l_j)} }\\ \\ \tfrac{\partial C}{\partial z^l} = [\tfrac{\partial C}{\partial a_1^l }* \sigma ^{'}{(z^l_1)},...,\tfrac{\partial C}{\partial a_n^l }* \sigma ^{'}{(z^l_n)}]$

$\\\tfrac{\partial C}{\partial z_j^{l-1} } = \tfrac{\partial C}{\partial a_j^{l-1} }*\tfrac{\partial a_j^{l-1} }{\partial z_j^{l-1} } \\ .......= \sum _{i=1,n^l}\tfrac{\partial C}{\partial a_i^{l} }*\tfrac{\partial a_i^{l} }{\partial a_j^{l-1} }*\tfrac{\partial a_j^{l-1} }{\partial z_j^{l-1} } \\ .... ...= \sum _{i=1,n^l}\tfrac{\partial C}{\partial a_i^{l} }*\tfrac{\partial \sigma(w^l_{ji} * {a^{l-1}_{j}}+b^l_{ji})) }{\partial a_j^{l-1} }* \sigma ^{'}{(z_{j}^{l-1})} \\ .......= {\color{Red} \sum _{i=1,n^l}\tfrac{\partial C}{\partial a_i^{l} }*\sigma ^{'}{(z^{l}_{i})}}*w^l_{ji}* \sigma ^{'}{(z^{l-1}_j))}\\ .......=[w^l_{j1},...,w^l_{jn^l}]*[\tfrac{\partial C}{\partial a_1^{l}}*\sigma^{'}(z_1^l),...,\tfrac{\partial C}{\partial a^{l}_{n^l}}*\sigma^{'}(z_{n^l}^l)] *\sigma^{'}(z^{l-1}_j))\\.......=[\tfrac{\partial C}{\partial w^{l}}]*[\tfrac{\partial C}{\partial z^l}]*\sigma^{'}(z_j^{l-1})$ $\tfrac{\partial C}{\partial z^{l-1}} = [\tfrac{\partial C}{\partial w^{l}}] *[\tfrac{\partial C}{\partial z^{l}}] *\sigma^{'}(z^{l-1})$

猜你喜欢

转载自blog.csdn.net/qq_32110859/article/details/85698564

关于深度学习的backpropagation

深度学习笔记(二):backpropagation算法

李宏毅深度学习_Backpropagation

深度学习中的反向传播方法—BackPropagation

深度学习笔记三：反向传播（backpropagation）算法（转）

深度学习BP算法 BackPropagation以及详细例子解析

深度学习笔记——理论与推导之Backpropagation（二）

李宏毅深度学习 -2017-backpropagation

backpropagation算法学习

【深度学习经典论文】Backpropagation applied to Handwritten zip code recognition ----LeCun

深度学习笔记（三）：backpropagation反向传播算法python代码讲解

深度学习 16. 反向传递算法最简单的理解与提高，BP算法，Backpropagation, 自己的心得。

神经网络和深度学习（二）——BP(Backpropagation Algorithm, 反向传播算法)

Intro to Deep Learning & Backpropagation 深度学习模型介绍及反向传播算法推导详解

backpropagation

深度学习 | 斯坦福cs231n第四讲学习笔记 --- backpropagation

【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——直观理解反向传播（Backpropagation intuition）

关于深度学习的思考

关于深度学习

BackPropagation神经网络的学习与浅析

深度学习中关于 “深度” 的理解

深度学习--关于神经网络深度

学习笔记84—[深度学习]神经网络反向传播（BackPropagation） [Mechine Learning & Algorithm] 神经网络基础 [Mechine Learning & Algorithm] 神经网络基础

关于深度学习问题的解答

深度学习（14）—— 关于Tensorboard

关于机器学习-深度学习的总结

李宏毅机器学习——学习笔记（7） Backpropagation and keras

李宏毅机器学习 P14 Backpropagation 笔记

神经网络反向传播Backpropagation（李弘毅机器学习）

[李宏毅-机器学习]反向传播Backpropagation

今日推荐

火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？

北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”

LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍

国产云输入法——仅华为无云端数据上传安全问题

开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40

开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）

周排行

Metasploit文件目录与入侵基本概念

跨域(CORS)请求问题[No 'Access-Control-Allow-Origin' header is present on the requested resource]常见解决方案

CodeIgniter 源码解读之 CodeIgniter.php（二）

SAS入门之（四）改变数据类型

初识元组

[数学建模]数学建模算法和模型（B站视频）（二）

Nginx 服务器源码安装配置流程

C#实现语音视频录制【基于MCapture + MFile】

开发进度4

下载安装vue的方法网址

每日归档

更多

2024-04-28(0)

2024-04-27(56)

2024-04-26(39)

2024-04-25(22)

2024-04-24(36)

2024-04-23(26)

2024-04-22(39)

2024-04-21(0)

2024-04-20(6)

2024-04-19(5)