KKT 条件 及其 理解

现在我们对于任意一个优化问题(不一定是凸优化问题):
\begin{split}\text{min}\quad & f_{0}(x) \newline \text{subject to:}\quad & f_{i}(x)\leq 0, i=1,...,m \newline & h_{i}(x)=0, i=1,...,p\end{split}
如果所有的出现的函数均为一阶可微函数,并且假设\(x^{\ast}\), \((\lambda^{\ast},\nu^{\ast})\)分别为()问题和其对偶问题的最优解,gap 为0,那么我们很自然的有如下的条件:
\begin{split}f_{i}(x^{\ast})&\leq 0, i=1,...m; \newline h_{i}(x^{\ast})&=0, i=1,...,p \newline \lambda_{i}^{\ast}&\geq 0, i=1...m \newline \lambda_{i}^{\ast}f_{i}(x^{\ast})&=0, i=1,...m\newline \nabla f_{0}(x^{\ast})+\sum_{i=1}^{m}\lambda_{i}^{\ast}\nabla f_{i}(x^{\ast})+\sum_{i=1}^{p}\nu_{i}^{\ast}\nabla h_{i}(x^{\ast})&=0,\end{split}

现在我们考虑一下凸优化问题的情况,这个时候,我们也容易得到如下的逆命题成立:

定理 如果对于优化问题(),\(f_{i}\)(i=0,1,...,m) 均为一阶可微凸函数,\(h_{i}\)(i=1,...,p) 均为仿射函数,\(\tilde{x}\in D\), \(\tilde{\lambda}\in \mathbb{R}^{m}\), \(\tilde{\nu}\in \mathbb{R}^{p}\) 满足KKT 条件

\begin{split}f_{i}(\tilde{x})&\leq 0, i=1,...m; \newline h_{i}(\tilde{x})&=0, i=1,...,p \newline \tilde{\lambda_{i}}&\geq 0, i=1...m \newline \tilde{\lambda_{i}}f_{i}(\tilde{x})&=0, i=1,...m\newline \nabla f_{0}(\tilde{x})+\sum_{i=1}^{m}\tilde{\lambda_{i}}\nabla f_{i}(\tilde{x})+\sum_{i=1}^{p}\tilde{\nu_{i}}\nabla h_{i}(\tilde{x})&=0,\end{split}

\(\tilde{x}\), \((\tilde{\lambda},\tilde{\nu})\)分别是原始优化问题,对偶问题的解。

证明

考察 Lagrange 函数:\[L: D \times\mathbb{R}^{m}\times\mathbb{R}^{p}\rightarrow \mathbb{R},\]
\(L(x,\lambda,\nu)=f_{0}(x)+\sum_{i=1}^{m}\lambda_{i}f_{i}(x)+\sum_{i=1}^{p}\nu_{i}h_{i}(x)\).

为方便起见,我们使用之前一样的记号,记:\(p^{\ast}=\inf_{x\in D(f,h)}f_{0}\), \(g(\tilde{\lambda},\tilde{\nu})=\inf_{x\in D}L(x,\lambda,\nu)\)
现在固定\(\lambda=\tilde{\lambda}\), \(\nu=\tilde{\nu}\), 由于 \(\tilde{\lambda_{i}}\geq 0\), \(h_{i}\) 是仿射函数,容易知道 \(L(x,\tilde{\lambda},\tilde{\nu})\)是关于\(x\)的凸函数,所有这时\(\nabla_{x} L(\tilde{x},\tilde{\lambda},\tilde{\nu})=0\) 保证了 \(L(x,\tilde{\lambda},\tilde{\nu})\)\(x=\tilde{x}\)除取极小值,所以这时候,对于任意的 \(x\in D\), 我们有:
\begin{split}L(x,\tilde{\lambda},\tilde{\nu})&\geq L(\tilde{x},\tilde{\lambda},\tilde{\nu})\newline &=f_{0}(\tilde{x})\end{split}
注意到由KKT条件,上式中的等号是显然成立的。这时候对上式两边取下确界,对\(x\in D\), 我们自然有:

\[g(\tilde{\lambda},\tilde{\nu})\geq f_{0}(\tilde{x})\geq p^{\ast}\], 但是我们注意到\(g(\tilde{\lambda},\tilde{\nu})\geq p^{\ast}\), 由此可知上式两个等号均成立,命题得证明。

猜你喜欢

转载自www.cnblogs.com/szqfreiburger/p/11574769.html