方向导数
设
l
是xoy平面上以
(x0,y0)
为始点的一条射线,
el=(cosα,cosβ)
是与
l
同方向的单位向量,射线
l
的参数方程为
x=x0+tcosα
y=y0+tcosβ
t⩾0
设函数
z=f(x,y)
在点
P0(x0,y0)
的某个领域
U(P0)
内有定义,
P(x0+tcosα,y0+tcosβ)
为
l
上的另一点,且
P∈U(P0)
。如果函数增量与点
P
到点
P0
的距离比值
f(x0+tcosα,y0+tcosβ)−f(x0,y0)t
当
P
沿着
l
趋向于
P0(即t→0+)
时的极限存在,则称此极限为函数
f(x,y)
在点
P0
沿方向
l
的方向倒数,即
∂f∂l∣(x0,y0)=limt→0+f(x0+tcosα,y0+tcosβ)−f(x0,y0)t
证明:
f(x,y)
在点
P0(x0,y0)
可微分,那么函数在该点沿任意方向导数
l
都存在,且有
∂f∂l∣(x0,y0)=fx(x0,y0)cosα+fy(x0,y0)cosβ
证:由假设,函数
f(x,y)
在点
(x0,y0)
可微分,故有
f(x0+Δx,y0+Δy)−f(x0,y0)=fx(x0,y0)Δx+fy(x0,y0)Δy+o((Δx)2+(Δy)2−−−−−−−−−−−−√)
在方向
l
上,有
Δx=tcosα,Δy=tcosβ,(Δx)2+(Δy)2−−−−−−−−−−−−√=t
∂f∂l∣(x0,y0)=limt→0+f(x0+tcosα,y0+tcosβ)−f(x0,y0)t=fx(x0,y0)cosα+fy(x0,y0)cosβ
梯度
二元函数的情形下,设函数
f(x,y)
在平面区域D中具有一阶连续偏导数,则对于每一点
P0(x0,y0)∈D
,都可定出一个向量
fx(x0,y0)i+fy(x0,y0)j
这向量称为函数
f(x,y)
在点
P0(x0,y0)
的梯度,记为
∇f(x0,y0)
由
∂f∂l∣(x0,y0)=fx(x0,y0)cosα+fy(x0,y0)cosβ=∇f(x0,y0)⋅el=|∇f(x0,y0)|cosθ
θ=(∇f(x0,y0),^el)
因此得出结论:
当
θ=0
时,即单位向量
el
的方向与梯度方向相同,函数
f(x,y)
增加最快,函数在这个方向的方向导数达到最大值
∂f∂l∣(x0,y0)=|∇f(x0,y0)|
;当
θ=π
时,即单位向量
el
的方向与梯度方向相反,函数
f(x,y)
减小最快,函数在这个方向的方向导数达到最小值
∂f∂l∣(x0,y0)=−|∇f(x0,y0)|
梯度下降优化
对参数
x和y
进行优化,从而使得
f(x,y)
得到最小值
对于每一次优化,
(x,y)
都会向当前减小最快的方向移动。首先计算
(x0,y0)
点的梯度
∇f(x0,y0)
∇f(x0,y0)=fx(x0,y0)i+fy(x0,y0)j
点
(x0,y0)
沿梯度方向移动
η|∇f(x0,y0)|
的距离,其中
η
是学习率,用于控制参数移动的多少。对应于:
x:x−ηfx(x0,y0)
y:y−ηfy(x0,y0)
通过每一次的优化,参数
x和y
就会逐渐移动到
f(x,y)
最低点