深度学习数学基础之链式法则

上次讲了导数和偏导数的基础,那么这些还不足以使用起来,今天就来讲讲误差反向传播中用来解决复杂函数求导的链式法则。

1 复合函数

已知函数y=f(u),当u表示为u=g(x)时,y作为x的函数就可以表示为y=f(g(x))这样的嵌套结构,这种嵌套结构的函数,就称为f(u)、g(x)的复合函数。

file

2 链式法则

2.1 单变量函数链式法则

已知单变量函数y=f(u),当uu表示为单变量函数u=g(x)时,复合函数f(g(x))的导函数可以如下简单地求出来。

file

上面这个公式称为单变量函数的复合函数求导公式,也称为链式法则。

file

公式的右边,如果将dx、dy、du都看作一个单独的字母,那么公式的左边可以看作将右边进行简单的约分的结果,这个看法总是成立的。通过将导数用dx、dy等表示,我们可以这样记忆链式法则:复合函数的导数可以像分数一样使用约分。,但是这个约分的法则不适用于dx、dy的平方等情形。

file

下面我们来试试对sigmoid与wx+b的复合函数进行求导吧

file

2.2 多变量函数链式法则

在多变量函数的情况下,链式法则的思想也同样适用。只要像处理分数一样对导数的式子进行变形就行了,但是事情并没有想的那么简单,因为必须要对相关的全部变量应用链式法则。

让我们来看看两个变量的情形。变量z为u、v的函数,如果u、v分别为x、y的函数,则z为x、y的函数,此时下方的多变量函数的链式法则成立。

file

变量z为u、v的函数,u、v分别为x、y的函数,z关于x求导时,先对u、v求导,然后与z的相应导数相乘,最后将乘积加起来。

z关于y求导时,也是如此。下方式子依旧成立。

file

file

发布了38 篇原创文章 · 获赞 1 · 访问量 2188

猜你喜欢

转载自blog.csdn.net/wulishinian/article/details/104856488
今日推荐