非线性约束极值问题 - 拉格朗日乘子法 方法与原理

动机

非数学专业，只是用得到，所以学一下。

问题描述

首先来看一下非线性最优化问题，一般有这么几类。

第一类： 无约束最优化问题

找到一个合适的x，是的f(x)最小：

$$\min_x f(x)$$

没有任何约束的最优化问题，这个一般解法有 梯度下降法、牛顿法、拟牛顿法等。

第二类： 有等式约束的非线性

$$\min_x f(x) \\ \text{subject to } h_i(x) = 0 i \in [1,n]$$

第三类： 有等式和不等式约束的非线性问题

$$\min_x f(x) \\ \text{subject to } h_i(x) = 0 \\ g_j(x) <= 0 \\ i \in [1,m] , j\in [1,n]$$

上面的式子是说， 在满足m个等式 即 $h_i(x) = 0$ 和 n个不等式 $g_j(x) <=0$ 的条件下求f(x)的最小值。

拉格朗日乘子法

对于第二类问题，可以转化为一下问题

$$\begin{equation}\min F(x) = min\;[f(x)+\sum_{i=1}^{n}\lambda_{i}h_{i}(x)]\end{equation}$$

$\lambda_i$ 为拉格朗日乘子。
令 $\partial F(x) / \partial x = 0$ , $\partial F(x) / \partial \lambda = 0$ ,该最优化问题即可的解。

拉格朗日乘子法原理分析

上面公式中的x是一个向量，多维的数据难以绘图和理解，这里以二维为例。有这样的最优化问题:

$$\min z = \min f(x,y)\\s.t. g(x,y)=c$$

如果将 z=f(x,y)绘制成一个三维图像，可以想象必定有波峰有波谷，如果想用二维图像绘制这个函数，只能以等高线的形式（想象一下等高线地形图），下图给出了等高线图。因为极值点必须是一个可行解，即必须满足$g(x,y) =c$ 这个条件，所以极值点处的等高线必定和$g(x,y)=c$ 相较于一点。 假设两条线不相切，那么必定有另外一条等高线与之相切。考虑相切的情况，f(x,y)取得极值，且满足等式条件。

在相切时，其梯度方向平行，即

$$\begin{equation}\bigtriangledown[f(x,y)+\lambda(g(x,y)-c)]=0\;\;\;\;\lambda\ne{0}\end{equation}$$

给出一个新的函数 $F(x,y) = \bigtriangledown[f(x,y)+\lambda(g(x,y)-c)]=0$
在求其极值的时候，令 $\bigtriangledown F(x,y) = 0$，即可的解。

#
第三类与KKT条件

在满足KKT条件时，可以将带有不等式的非线性最优化问题转化为无约束的最优化问题。

首先将原目标公式和等式不等式合为一个公式

$$F(x,\lambda,\mu) = f(x) + \sum_i \lambda_i h_i(x) + \sum_j \mu_j g_j(x)$$
并需满足以下条件

（1） $\partial F(x,\lambda, \mu) / \partial x = 0$ 这个条件是计算最优化问题的核心。 使用梯度下降法可以迭代求解。

（2） $\lambda_i \neq 0$ 这个条件保证等式约束是成立的，如果该值为零，相当于丢失了约束条件。
（3） $\mu_j >= 0$ ,原条件中 $g_j(x)<=0$ ,公式加上一个小于等于0的数，符合最小化的方向。如果加一个正数，则与最小化方向相反，所以 这个条件保证了 $\mu_j g_j(x)$ 小于等于0 。
（4） $u_jg_j(x) = 0$ ,该条件表明只有在该项取最大值时，整个公式取极小值才是真正的极小值。 这个式子最大为0， 所以要求其为0。

进一步思考， 这两项相乘为0，那么至少有一项为0， 如果是 $u_j$ 为0 ，说明这个条件并未生效，就是说整个函数的极小值并不在这个条件的边界上。 如果$g_j(x) = 0$ 极小值说明在这个条件的边界上。

（5）原本的约束条件 $g_j(x) <= 0$ , $h_i(x) = 0$

证明

证明见 参考文献[1]

参考文献

[1] http://www.cnblogs.com/zhangchaoyang/articles/2726873.html
[2] http://blog.csdn.net/xianlingmao/article/details/7919597
[3] https://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0