cs231n 学习 -- Lecture 4 Backpropagation and Neural Networks

接上一节求解解析梯度引出反向传播相关知识,高等数学上就是复合函数求导。

eg.      

                      f(x, y, z) = (x+y)z , x = -2, y = 5, z = -4,want:\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z}=?

               =>   q = x + y , \frac{\partial q}{\partial x}=1,\frac{\partial q}{\partial y}=1      f=qz , \frac{\partial f}{\partial q}=z,\frac{\partial f}{\partial z}=q

f 函数可以表示为加法器和乘法器的组合电路,电路图表示如下:

函数对 x,y 的偏导数可根据所谓的Chain rule:   \frac{\partial f}{\partial x} = \frac{\partial f}{\partial q} \cdot \frac{\partial q}{\partial x}  求得。

总结下求解过程,首先是拆分成各个组件,得到组件输出值,如 q = (x+y) = 3, f = qz = -12, 如上图绿色数值显示,是沿黑色箭头方向进行,此所谓前向传播 ,对 x 的偏导求解,先解出函数 f 对 q 偏导,再求 q 对 x 偏导,即可得到 f 对 x 偏导,此计算过程从最后一层,往第一层逐层进行,此所谓反向传播。此解法可应用到更复杂的函数,如

扫描二维码关注公众号,回复: 13302635 查看本文章

从标量应用到向量,梯度计算需要注意其维度是不变的,如下图 W shape 为 2 x 2 , \bigtriangledown_{W} f shape 仍然为 2 x 2。

 以上就是关于反向传播的主要部分了,下面就是一些神经网络的内容。从大脑分析方面,将神经传播抽象成数学模型作了简要介绍,并给出神经网络架构。

猜你喜欢

转载自blog.csdn.net/wu472269100/article/details/85859835
今日推荐