BP算法的基础——方向导数与梯度

1.方向导数

讨论函数在一点沿某一方向的变化率问题(即方向导数).

定义 设函数在点的某一邻域内有定义.自点引射线.设轴正向到射线的转角为(逆时针方向:0;顺时针方向:0),并设'(+△,+△)为上的另一点且'∈.我们考虑函数的增量(+△,+△)-'两点间的距离的比值.当'沿着趋于时,如果这个比的极限存在,则称这极限为函数在点沿方向的方向导数,记作,即

                              (1)

从定义可知,当函数在点的偏导数x、y存在时,函数在点沿着轴正向=轴正向=的方向导数存在且其值依次为x、y,函数在点沿轴负向=轴负向=的方向导数也存在且其值依次为-x、-y.

关于方向导数的存在及计算,我们有下面的定理.

定理  如果函数在点是可微分的,那末函数在该点沿任一方向的方向导数都存在,且有

                                                    (2)

其中轴到方向的转角.

二、 梯度

1.梯度的定义

与方向导数有关联的一个概念是函数的梯度.

定义 设函数在平面区域内具有一阶连续偏导数,则对于每一点,都可定出一个向量

                             

这向量称为函数=在点的梯度,记作,即

                     =

如果设是与方向同方向的单位向量,则由方向导数的计算公式可知

           

这里,(^,e)表示向量的夹角.由此可以看出,就是梯度在射线上的投影,当方向与梯度的方向一致时,有

                       (^,) 1,

从而有最大值.所以沿梯度方向的方向导数达到最大值,也就是说,梯度的方向是函数在这点增长最快的方向.因此,我们可以得到如下结论:

函数在某点的梯度是这样一个向量,它的方向与取得最大方向导数的方向一致,而它的模为方向导数的最大值.

由梯度的定义可知,梯度的模为

                    

不为零时,那末轴到梯度的转角的正切为

                                 

我们知道,一般说来二元函数在几何上表示一个曲面,这曲面被平面z=c(c是常数)所截得的曲线的方程为

                                

这条曲线面上的投影是一条平面曲线(图8―10),它在平面直角坐标系中的方程为

                                

对于曲线上的一切点,已给函数的函数值都是,所以我们称平面曲线为函数的等高线.

由于等高线上任一点处的法线的斜率为

                         ,

所以梯度                       

为等高线上点处的法向量,因此我们可得到梯度与等高线的下述关系:函数在点的梯度的方向与过点的等高线在这点的法线的一个方向相同,且从数值较低的等高线指向数值较高的等高线(图8―10),而梯度的模等于函数在这个法线方向的方向导数.这个法线方向就是方向导数取得最大值的方向.

 

猜你喜欢

转载自blog.csdn.net/weixin_42144636/article/details/81286173