[Machine Learning] 方向导数&梯度（Directional Derivative & Gradient）

方向导数

首先，我们先来讨论一下函数 $y = f(x_1,x_2)$在一点P沿某一方向的变化率问题。

假设函数 $y = f(x_1,x_2)$在点 $P(x_1,x_2)$的某一邻域 $U(P)$内有定义，自点P引射线 $l$。设 $x$轴正向到射线 $l$的转角为 $\varphi$，并设 $P'(x_1+\Delta x_1,x_2+\Delta x_2)$为 $l$上的另一点且 $P'\in U(P)$(如图)。

那么我们可以定义：

函数的增量 $f(x_1+\Delta x_1,x_2+\Delta x_2)-f(x_1,x_2)$与 $PP'$两点间的距离 $\rho = \sqrt{(\Delta x_1)^2+(\Delta x_2)^2}$的比值，当 $P'$沿着 $l$趋于 $P$时，如果这个比值的极限存在，则称这个极限为函数在点 $P$沿方向 $l$的方向导数。记为：
$\frac{\partial{f}}{\partial{l}} = \lim_{\rho\rightarrow 0} \frac{f(x_1+\Delta x_1,x_2+\Delta x_2)-f(x_1,x_2)}{\rho}$

根据定义，函数 $f(x_1,x_2)$在点 $P$沿着 $x_1$轴正向 $\vec{e}_1 = {1,0}$、 $x_2$轴正向 $\vec{e}_2 = {0,1}$的方向导数分别为 $f_{x_1}$， $f_{x_2}$；沿着 $x$轴负向、 $y$轴负向的方向导数是 $-f_{x_1}$， $-f_{x_2}$。

如果函数 $y = f(x_1,x_2)$在点 $P(x_1,x_2)$在点 $P(x_1,x_2)$是可微分的，那么函数在该点沿任意方向 $L$的的方向导数都存在，且有
$\frac{\partial{f}}{\partial{l}} = \frac{\partial{f}}{\partial{x_1}}cos\varphi + \frac{\partial{f}}{\partial{x_2}}sin\varphi$
其中 $\varphi$为 $x$轴到方向 $L$的转角。

那么推广到三元函数可得方向导数定义：

对于三元函数 $y = f(x_1,x_2,x_3)$，它在空间一点 $P(x_1,x_2,x_3)$沿着方向 $L$的方向导数，可定义为:
$\frac{\partial{f}}{\partial{l}} = \lim_{\rho\rightarrow 0}\frac{f(x_1+\Delta x_1,x_2 + \Delta x_2, x_3+\Delta x_3) - f(x_1,x_2,x_3)}{\rho}$
其中 $\rho = \sqrt{(\Delta x_1)^2 + (\Delta x_2)^2 + (\Delta x_3)^2}$

同理：

设方向 $L$的方向角为 $\alpha$， $\beta$， $\gamma$.
当函数在此点可微时，那么函数在该点沿任意方向 $L$的方向导数都存在，且有
$\frac{\partial{f}}{\partial{l}} = \frac{\partial{f}}{\partial{x_1}}cos\alpha + \frac{\partial{f}}{\partial{x_2}}cos\beta + \frac{\partial{f}}{\partial{x_3}}cos\gamma$

注意：方向导数是一个值，是一个函数沿指定方向的变化率。

扫描二维码关注公众号，回复： 9127226 查看本文章

二元函数举例说明

假设有二元函数 $y=f(x_1,x2)$如上图所示，横坐标代表 $x_1$，纵坐标代表 $x_2$，平面中的颜色代表不同的 $y$值。在Loss Function（损失函数）中可认为 $x_1$， $x_2$分别代表两种不同的参数，而 $y$值代表Loss（损失）值。

现在我们在函数 $y=f(x_1,x2)$中随机取一点（图中黄点表示） $P(x_1,x_2)$，很显然，P点不止一个方向，而是360°都有方向，并且每个方向都会有方向导数（即函数变化率）。

通俗地说，可以把这个图当作一个山脉地形图，图中的黄点代表山上有一个人，则方向导数就代表他走的方向的山的坡度大小。

梯度

我们现在已经知道，如果一个函数在某一点 $P$处可微，那么就可以确定这个函数在点 $P$的任一方向的方向导数。那么，函数在点 $P$沿哪一方向增加的速度最快呢？因此，就有了梯度这个概念。

设函数 $y = f(x_1,x_2)$在平面D内具有一阶连续偏导数，则对于每一点 $P(x_1,x_2)\in D$，都可定出一个向量 $\frac{\partial{f}}{\partial{x_1}}\vec{i} + \frac{\partial{f}}{\partial{x_2}}\vec{j}$，这向量称为函数 $y = f(x_1,x_2)$在点 $P(x_1,x_2)$的梯度，记为：
$\vec{grad}f(x_1,x_2) = \frac{\partial{f}}{\partial{x_1}}\vec{i} + \frac{\partial{f}}{\partial{x_2}}\vec{j}$

注意：梯度是一个向量

那为什么说函数在该点处沿着梯度的方向变化最快呢？现在我们就来证明一下：

假设 $\vec{e} = cos\varphi\vec{i} + sin\varphi\vec{j}$是方向 $\vec{l}$上的单位向量，由方向导数公式可知：

$\frac{\partial{f}}{\partial{l}} = \frac{\partial{f}}{\partial{x_1}}cos\varphi + \frac{\partial{f}}{\partial{x_2}}sin\varphi \\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ = (\frac{\partial{f}}{\partial{x_1}},\frac{\partial{f}}{\partial{x_2}})\cdot(cos\varphi,sin\varphi) \\ \ \\= \vec{grad}f(x_1,x_2)\cdot\vec{e} \\ \ \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ = |\vec{grad}f(x_1,x_2)|cos(\vec{grad}f(x_1,x_2),\vec{e})$

当 $cos(\vec{grad}f(x_1,x_2),\vec{e}) = 1$时，方向导数 $\frac{\partial{f}}{\partial{l}}$有最大值 $|\vec{grad}f(x_1,x_2)|$。此时，取得最大方向导数的方向就是梯度的方向。

因此，函数在某点的梯度是这样一个向量：它的方向与取得最大方向导数（即函数在该点变化速率最大）的方向一致，而它的模为方向导数的最大值，梯度的模为：

$|\vec{grad}f(x,y)| = \sqrt{(\frac{\partial{f}}{\partial{x_1}})^2 + (\frac{\partial{f}}{\partial{x_2}})^2}$

当然，梯度的概念也可以推广到三元函数（甚至更高维度）

三元函数 $y = f(x_1,x_2,x_3)$在空间区域G内具有一阶连续偏导数，则对于每一点 $P(x_1,x_2,x_3)\in G$，都可以定义一个向量（梯度）：

$\vec{grad}f(x_1,x_2,x_3) = \frac{\partial{f}}{\partial{x_1}}\vec{i} + \frac{\partial{f}}{\partial{x_2}}\vec{j} + \frac{\partial{f}}{\partial{x_3}}\vec{k}$

类似于二元函数，此梯度也是一个向量，其方向与取得最大方向导数的方向一致，其模为方向导数的最大值。

二元函数举例说明

同样的图，假设有二元函数 $y=f(x_1,x_2)$如上图所示，横坐标代表 $x_1$，纵坐标代表 $x_2$，平面中的颜色代表不同的 $y$值。在Loss Function（损失函数）中可认为 $x_1$， $x_2$分别代表两种不同的参数，而 $y$值代表Loss（损失）值。

现在我们在函数 $y=f(x_1,x_2)$中随机取一点（图中黄点表示） $P(x_1,x_2)$，很显然，P点不止一个方向，而是360°都有方向，并且每个方向都会有方向导数（即函数变化率），而梯度就指向方向导数最大的方向（等高线的法向量）。

通俗地说，可以把这个图当作一个喜马拉雅山地形图，图中的黄点代表有一个攀登者，他成功登顶并准备下山，方向导数就代表他所在地的坡度大小，现在他在海拔4500米的地方，如果他要以最快的速度下山，那么他就要往等高线的法向量（白线所指方向）也就是坡度最大的方向（即梯度方向）移动。

文章就到这里，还请大家帮忙勘误！