读共轭对偶与优化-笔记

最近在读大神Rockafellar的小册子“Conjugate Duality and Optimization”. 本来是想读“Convex Analysis”，可是实在是太长了，只能望而却步。所以决定找个薄的来读读，Conjugate Duality and Optimization这个册子其实算是Convex Analysis的补充材料，由于没有事先读过Convex Analysis，导致读起来特别累，虽然只有70来页。读了一遍之后很多地方还是不懂，算是一知半解，这里发表一下我的一些见解。

这本书主要是介绍了有限和无限维问题中的共轭对偶，为其提供理论保障。

对于一个问题：

$\min_{x\in X} f(x)$ 1.1

首先引入一个概念-参数函数 $F(x,u)$ ，这里的 $u\in U$ 称为参数向量, 并且满足

$f(x)=F(x,0)$ . 1.2

为什么要引入参数函数呢，其实可以这样理解，最优化问题 $F(x,u)$ 是关于原问题的一个扰动，所以考虑 $F(x,u)$ 的极小化，这里引入一个最优值函数（value function，个人认为翻译为最优值函数） $\varphi(u)$ :

$\varphi(u)=\inf_{x\in X}F(x,u)$ 1.3

不难发现当 $u=0$ 的时候上式就变为原问题，即有

$\varphi (0)=\inf_{x\in X}f(x)$ 1.4

所以研究原问题的最优性问题就转化为了研究 $\varphi$ 在 0 这一点的性质，连续，邻域有界等等。有了参数函数和最优值函数，接下来要引入一个函数 $K:X\times Y\rightarrow [-\infty ,+\infty ]$ 满足

$f(x)=\sup_{y\in Y}K(x,y)$ 1.5

$g(y)=\inf_{x\in X}K(x,y)$ 1.6

这里的 $g(y)$ 称为对偶函数， $K$ 为朗格朗日函数，考虑原问题和对偶问题

1.7

$\max_{y\in Y}g(y)$ 1.8

不难得出下面的不等式成立

$f(x)\geq K(x,y)\geq g(y) \quad \forall x\in X,y\in Y$ 1.9

以及

$\inf_{x\in X}\sup_{y\in Y}K(x,y)=\inf_{x\in X}f(x)\geq \sup_{y\in Y}g(y)=\sup_{y\in Y}\sup_{x\in X}K(x,y)$ 1.10

中间的不等式是根据式1.9得到。

有了这些定义之后，接下来研究他们之间的关系。首先给出共轭函数的定义：

$f^*(y)=\sup_{x\in X}\{<x,y>-f(x)\}$ 1.11

定义朗格朗日函数 $K$

$K(x,y)=\inf\{F(x,u)+< u,y>|u\in U\}$ 1.12

$K(x,y)=\inf\{< u,y>-(-F(x,u))|u\in U\}=(-F(x,\cdot ))^*$ 1.13

如果 F 关于 u 是闭凹的，那么他的共轭是对称的，即从上式可以知道函数 $u\rightarrow -F(x,u)$ 是函数 $y\rightarrow K(x,y)$ 在凹意义下的共轭，于是有

$F(x,u)=-K^*(x,u)=-\inf\{<u,y>-K(x,y)|y\in Y\}\\ =\sup\{K(x,y)-<u,y>|y\in Y\}$ 1.14

可以发现这样的朗格朗日函数定义是满足式1.5的,

$f(x)=F(x,0)=\sup\{K(x,y)-<0,y>|y\in Y\}=\sup_{y\in Y}K(x,y)$ 1.15

这可以由式1.14得到。然后在上式下去定义对偶问题 $g(y)=\inf_{x\in X}K(x,y)$ 。到目前为止，我们通过定义出一个参数函数，来构造出了拉格朗日函数以及对偶函数，现在有了原问题和对偶问题，我们就来研究他们之间的关系，是否存在鞍点，或者说是否有gap，即是否满足：

$\min f(x)=\max g(y)$ 1.16

我们要从最优值函数入手去研究原问题和对偶问题的关系，对于原问题来说有：

$\varphi (0)=\inf_{x\in X}f(x)$ 1.17

对于对偶问题而言

$g(y)=\inf_{x\in X}K(x,y)=\inf_{x\in X}\inf_{u\in U}\{F(x,u)+<u,y>\}\\ =\inf_{u\in U}\inf_{x\in X}\{F(x,u)+<u,y>\}\\ =\inf_{u\in U}\{<u,y>+\varphi (u)\}\\ =\inf_{u\in U}\{<u,y>-(-\varphi (u))\}\\ =-\varphi^*(y)$ 1.18

于是有 $g=(-\varphi )^*$ , 再根据一个函数的双共轭等于该函数的闭凸包得到 $-g^*=\varphi ^{**}=\mbox{co cl } \varphi$

再根据共轭次梯度定理知道, 在凹函数下利用该定理，对于proper and concave function g

$\sup_{y\in Y}g(y)=-g^*(0)$ 1.19

所以我们有：

$\sup_{y\in Y}g(y)=(\mbox{cl co }\varphi )(0)$ 1.20

到目前为止，我们把原问题和对偶问题的最优值相等：

$\min f(x)=\max g(y)$ 1.21

转化为最优值函数在0点是否为闭包函数，即是否满足

$\varphi (0)=(\mbox{cl co }\varphi )(0)$ 1.22

而式1.21即为强对偶定理，即拉格朗日函数的鞍点存在定理，这样我们就把该问题转化为研究函数 $\varphi$ 在零点的性质这个问题了，即什么时候式1.22是满足的。

读共轭对偶与优化-笔记

猜你喜欢