梯度-lagrange乘子法-偏导数连续必然可微分

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_25847123/article/details/79806821

前言： 仅个人小记

前提

某点的梯度是一个向量，比如对于z=f(x,y)的点$(x_0,y_0,z_0)$处的梯度为二维向量$\nabla f(x_0,y_0) = (f_x(x_0,y_0),f_y(x_0,y_0))=f_x(x_0,y_0) \vec{i} +f_y(x_0,y_0)\vec{j}$.，这个向量使用的前提是在该点的函数的偏导数不仅要存在而其要连续(文末证明偏导连续是可微分的充要条件)。
因为某点的偏导数连续才能保证该点可微分，即有

$$\Delta z = f_x\Delta x+f_y\Delta y+o(\sqrt {{\Delta x}^{2}+{\Delta y}^{2}})$$ 当 $\sqrt {{\Delta x}^{2}+{\Delta y}^{2}}\rightarrow0$时，必有 $\Delta x\rightarrow和\Delta y \rightarrow 0$，上述公式重新表述为，
$$dz=f_x dx+f_y dy$$ 注意到，只要 $\sqrt {{\Delta x}^{2}+{\Delta y}^{2}}\rightarrow0$，这个式子就满足。

方向导数

注： 只讨论在“偏导数连续”这个前提条件下的偏导数
方向导数指的是，沿着某个方向$\vec{l}$发生移动，相应的函数值产生的了一定的变化。函数值的变化和该方向上的移动量当移动量趋向于0的时候的比值。
方向导数值用来描述陡峭程度。
方向$\vec{l}$与x轴正向的夹角为$\alpha$,记$\beta = \pi/2-\alpha$，记方向$\vec{l}$上产生的增量为$\Delta l=\sqrt {{\Delta x}^{2}+{\Delta y}^{2}}$，则$\Delta x=cos\alpha\Delta l, \Delta y = cos\beta\Delta l$。
所以当$\Delta l=\sqrt {{\Delta x}^{2}+{\Delta y}^{2}}\rightarrow0$，根据满足$dz=f_x dx+f_y dy$，所以

$$dz=f_xdx+f_ydy=f_xcos\alpha dl+f_ycos\beta dl=(f_xcos\alpha+f_ycos\beta)dl$$ 所以,该方向的方向导数为 $$\frac {dz}{dl}=f_xdx+f_ydy=f_xcos\alpha+f_ycos\beta$$ 写作向量内积的形式(向量形式便于考虑最值问题)为, $$\frac {dz}{dl}=(f_x,f_y)(cos\alpha,cos\beta)$$ 显然，当向量 $(cos\alpha,cos\beta)$和向量 $(f_x,f_y)$ 共线的时候内积取得最值，具体是同向时候取得最大值，反向时候取得最小值。

梯度

注意：梯度要求具有一阶连续偏导数(即一阶偏导数是连续的)，方向导数无此要求。
梯度指出最陡峭的上升方向，负梯度指出最陡峭的下降方向。在这里，最陡峭的上升方向和最陡峭的下降方向是共线的(原因是这里讨论的是两个平面，切平面和水平面)。
最陡峭的上升方向也就是方向导数取得最大值时候的方向，所以

$$\nabla = (f_x,f_y)=f_x\vec{i}+f_y\vec{j}$$ 最陡峭的下降方向就是方向导数取得最小值时候的方向，即 $(f_x,f_y)$的反向 $(-f_x,-f_y)$。

几何角度证明梯度方向是垂直于f(x,y)=0所确定的函数的切线方向

点$P(x_0,y_0,z_0)$处，偏导数为$f_{x0},f_{y0}$。
$\vec{a} = (1,0,f_{x0}),\vec {b}=(0,1,f_{y0})$,可以接触这两个向量所在平面的法向量为$\vec{f}=(f_{x0},f_{y0},-1)$,$\vec{a},\vec{b}$这两个向量构成的平面与平面$z=z_0$的交线为$f(x,y)=z_0$，这是一元函数，它在$(x_0,y_0)$处的切线必然和向量$\vec{f}$垂直，所以必然切向量为$\vec {g}=(-f_{y0},f_{x0},0)$，所以$f(x,y)=z_0$在该点的导数为$\frac {dy}{dx}=-\frac {f_{x0}}{f_{y0}}$，所以该点切线的垂直方向为$(f_{x0},f_{y0})$,这与我们说谈及的z=f(x,y)在$P(x_0,y_0)$处的梯度方向是一致的。

拉格朗日乘数法

用来解决条件极值问题。
给定二元函数z=f(x,y),约束条件$g(x,y)=z_0$。
求在约束条件下二元函数的极值。
逻辑：
$g(x,y)=z_0$可以视为二元函数$z = g(x,y)$的等高线，而所谓等高线，就是意味着沿着$g(x,y)=z_0$这个轨迹，z值不增不减，即始终陡峭程度为0，即始终方向导数为0。
结合梯度的概念，陡峭程度为0的方向的垂直方向是正负梯度方向。
我们要想求的是z=f(x,y)的在约束条件下的极值，而对于连续函数，极值处必然是z值的平稳点，所以极值点处必然陡峭程度为0。
所以，函数z=f(x,y)和函数z=g(x,y)都是沿着轨迹$g(x,y)=z_0$移动，所以z=f(x,y)和z=g(x,y)有相同的移动轨迹。又因为z=g(x,y)沿着轨迹$g(x,y)=z_0$时候始终方向导数为0，所以在移动的过程中时钟z=g(x,y)的梯度是垂直轨迹切线方向的。当在移动过程中z=f(x,y)去到极值时候，必然z=f(x,y)的方向导数为0，这直接导致z=f(x,y)的梯度必然是垂直此时轨迹切线方向。所以，当z=f(x,y)取到极值时，z=f(x,y)和z=g(x,y)的梯度必然是平行的。即$\nabla f // \nabla g$
我们利用这一点性质，可以列出方程
$\frac {\partial f}{\partial x} + \lambda \frac{\partial g}{\partial x}=0$ (1)
$\frac {\partial f}{\partial y}+\lambda\frac{\partial g}{\partial y}=0$ (2)
$g(x,y)=z_0$ (3)

偏导连续是可微分的充要条件

以二元函数z=f(x,y)为例，某点(x,y)处偏导连续则该点一定可微分。首先偏导数仍然是关于x,y的二元函数，点(x,y)处偏导连续表示的是偏导函数在(x,y)的邻域都存在且

$$\lim_{\Delta x \to0, \Delta y\to 0}f_x(x+\Delta x,y+\Delta y)=f_x(x,y)$$ 下面推导出在此前提下函数z=f(x,y)必然在(x,y)处可微分。
$$\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y)=f(x+\Delta x,y+\Delta y)-f(x,y+\Delta y)+f(x,y+\Delta y)-f(x,y)$$
所以，
$${\Delta z}=\frac {f(x+\Delta x,y+\Delta y)-f(x,y+\Delta y)}{\Delta x}{\Delta x}+\frac {f(x,y+\Delta y)-f(x,y)}{\Delta y}{\Delta y}$$ 因为在(x,y)点处 偏导数存在且连续，所以
当 ${\Delta x}^{2}+{\Delta y}^{2} \to 0$时，必然有 $\Delta x \to 0, \Delta y \to 0$，从而 $$\frac {f(x+\Delta x,y+\Delta y)-f(x,y+\Delta y)}{\Delta x}\to f_x(x,y+\Delta y)$$ $$\frac {f(x,y+\Delta y)-f(x,y)}{\Delta y}\to f_y(x,y)$$
还是因为 偏导数连续，所以有 $$f_x(x,y+\Delta y) \to f_x(x,y)$$ ,所以 $$\Delta z=f_x(x,y)\Delta x + o(\Delta x) + f_y(x,y)\Delta y +o(\Delta y)=f_x\Delta x+f_y\Delta y+o(\Delta x)+o(\Delta y)$$ ,
显然 $o(\Delta x)和o(\Delta y)都是\sqrt{{\Delta x}^{2}+{\Delta y}^{2}}的高阶无穷小$，所以, $$\Delta z=f_x\Delta x+f_y\Delta y+o(\sqrt{{\Delta x}^{2}+{\Delta y}^{2}})$$ ,即 $\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y)$可以表示为 $\Delta z = A\Delta x+B\Delta y+o(\sqrt{{\Delta x}^{2}+{\Delta y}^{2}})$这样的形式，其中A,B只与x,y有关，而与 $\Delta x,\Delta y$无关。这就是说明函数z=f(x,y)在(x,y)处可微分。

所以，偏导数连续是可微分的充分条件。
是充分条件也就是一意味着可微分不一定需要偏导数连续。