如何理解拉格朗日乘子法？

1 与原点的最短距离

假如有方程：

$x^2y=3$

图像是这个样子滴：

现在我们想求其上的点与原点的最短距离：

这里介绍一种解题思路。首先，与原点距离为 $a$ 的点全部在半径为 $a$ 的圆上：

那么，我们逐渐扩大圆的半径：

显然，第一次与 $x^2y=3$ 相交的点就是距离原点最近的点：

此时，圆和曲线相切，也就是在该点切线相同：

至此，我们分析出了：

$在极值点，圆与曲线相切$

2 等高线

为了继续解题，需要引入等高线。这些同心圆：

可以看作函数 $f(x,y)=x^2+y^2$ 的等高线：

根据梯度的性质（关于梯度可以查看如何通俗地理解梯度？），梯度向量：

$\nabla f=\begin{pmatrix}\frac{\partial f}{\partial x}\\\frac{\partial f}{\partial y}\end{pmatrix}=\begin{pmatrix}2x\\2y\end{pmatrix}$

是等高线的法线：

另外一个函数 $g(x,y)=x^2y$ 的等高线为：

之前的曲线 $x^2y=3$ 就是其中值为3的等高线：

，因此，梯度向量：

$\nabla g=\begin{pmatrix}\frac{\partial g}{\partial x}\\\frac{\partial g}{\partial y}\end{pmatrix}=\begin{pmatrix}2xy\\x^2\end{pmatrix}$

也垂直于等高线 $x^2y=3$ ：

梯度向量是等高线的法线，更准确地表述是：

$梯度与等高线的切线垂直$

3 拉格朗日乘子法

3.1 求解

根据之前的两个分析：

$\begin{cases} 在极值点，圆与曲线相切\\ \\ 梯度与等高线的切线垂直 \end{cases}$

综合可知，在相切点，圆的梯度向量和曲线的梯度向量平行：

也就是梯度向量平行，用数学符号表示为：

$\nabla f=\lambda\nabla g$

还必须引入 $x^2y=3$ 这个条件，否则这么多等高线，不知道指的是哪一根：

因此联立方程：

$\begin{cases} \nabla f=\lambda\nabla g\\ \\ x^2y=3\end{cases}$

求一下试试：

$\begin{cases} \begin{pmatrix}2x\\2y\end{pmatrix}=\lambda\begin{pmatrix}2xy\\x^2\end{pmatrix}\\ \\ x^2y=3\end{cases}\implies\begin{cases} x\approx\pm 1.61\\ \\ y\approx 1.1\\ \\ \lambda\approx 0.87\end{cases}$

这就是拉格朗日乘子法。

3.2 定义

要求函数 $f$ 在 $g$ 约束下的极值这种问题可以表示为：

$minmax\ f\\ s.t.\ g=0$

$s.t.$ 意思是subject to，服从于，约束于的意思。

可以列出方程组进行求解：

$\begin{cases} \nabla f=\lambda\nabla g\\ \\ g=0\end{cases}$

用这个定义来翻译下刚才的例子，要求：

令：

$\begin{cases} f(x,y)=x^2+y^2\\ \\ g(x,y)=x^2y-3\end{cases}$

求：

$min\ f(x,y)\\ s.t.\ g(x,y)=0$

联立方程进行求解：

$\begin{cases} \nabla f=\lambda\nabla g\\ \\ g(x,y)=0\end{cases}$

3.3 变形

这个定义还有种变形也比较常见，要求：

$minmax\ f\\ s.t.\ g=0$

定义：

$F=f+\lambda g$

求解下面方程组即可得到答案：

$\begin{pmatrix}\frac{F}{\partial x}\\\frac{F}{\partial y}\\\frac{F}{\partial \lambda}\end{pmatrix}=\begin{pmatrix}0\\0\\0\end{pmatrix}$

把等式左边的偏导算出来就和上面的定义是一样的了。

3.4 多个约束条件

如果增加一个约束条件呢？比如说：

$x-y-3=0$

求：

$min\ x^2+y^2\\ s.t.\ \begin{cases} x^2y-3=0\\ x-y-3=0 \end{cases}$

从图上看约束条件是这样的：

很显然所求的距离是这样的：

那这三者的法线又有什么关系呢？ $x^2+y^2$ 的法线是 $x^2y-3$ 和 $x-y-3$ 的法线的线性组合：

假设：

$\begin{cases} f(x,y)=x^2+y^2\\ \\ g(x,y)=x^2y-3\\ \\ h(x,y)=x-y-3\end{cases}$

那么线性组合就表示为：

$\nabla f=\lambda\nabla g+\mu\nabla h$

联立方程：

$\begin{cases} \nabla f=\lambda\nabla g+\mu\nabla h\\ \\ g(x,y)=0\\ \\ h(x,y)=0\end{cases}$

即可求解。

往更高纬度走的话，多约束条件的情况下，问题变为了 $g_1,g_2$ 围成的曲线 $C$ 和 $f$ 相切，直观上看 $\nabla f$ 必然在 $\nabla g_1,\nabla g_2$ 张成的空间中：

这点的严格性这里就不证明了。

文章最新版本在（有可能会有后续更新）：如何通俗地理解拉格朗日乘子法？

如何理解拉格朗日乘子法？

猜你喜欢