3.3共轭函数

定义
基本性质

定义

设函数 $f:R^n\rightarrow R$ ，定义函数 $f^*:R^n\rightarrow R$ 为：

$f^*(y)=\underset{x\in dom(f)}{sup}(y^Tx-f(x))$

此函数称为f(x)的共轭函数。从3.2节逐点上确界的内容也可以看出，此函数也是 $g(x,y)=(y^Tx-f(x))$ 的逐点上确界函数，而 $g(x,y)=(y^Tx-f(x))$ 是关于y的仿射函数，可以将其看成是凸函数，这样 $f^*(y)$ 也是凸函数。故对任意的函数f(x)， $f^*(y)$ 为凸函数。

在实际问题中，可以将x理解为生产一个产品所需要的资源，而f(x)则为生产x的资源的价格，y则是x的销售价格，那么 $f^*(y)$ 也就变成了最大盈利问题。

几何上，共轭函数 $f^*(y)$ 表示了线性函数 $y^Tx$ 和f(x)之间的最大差异。如下图：

基本性质

Fenchel不等式

由定义：

$f^*(y)=\underset{x\in dom(f)}{sup}(y^Tx-f(x))$

可知：

$f(x)+f^*(y)\leq y^Tx=x^Ty$

此为Fenchel不等式。

共轭的共轭

凸函数f的共轭函数的共轭函数为函数f本身。

可微函数

设函数f是凸函数且可微， $dom(f)=R^n$ ，使 $y^Tx-f(x)$ 最大，对x求导，得到：

$\frac{\partial y^Tx-f(x)}{\partial x}=y-\bigtriangledown f(x)$

令其为0，得到：

$y=\bigtriangledown f(x)$

假设使 $y^Tx-f(x)$ 的x为 $x^*$ ，则 $y=\bigtriangledown f(x^*)$ ，代入 $y^Tx-f(x)$ 得到：

$\bigtriangledown^T f(x^*)x^*-f(x^*)=(x^*)^T\bigtriangledown f(x^*)-f(x^*)$

所以如果给定y，可以通过求解方程 $y=\bigtriangledown f(z)$ ，得到z，从而得到共轭函数 $f^*(y)$

换一个角度理解：

$\forall z\in R$ ,令 $y=\bigtriangledown f(z)$ ，则 $f^*(y)=z^T\bigtriangledown f(z)-f(z)$

伸缩变换和复合仿射变换

(1)若 $a>0,b\in R,g(x)=af(x)+b\Rightarrow g^*(y)=af^*(y/a)-b$

证明：

$g^*(y)=\underset{x\in dom(f)}{sup}y^Tx-af(x)-b$

对x求导，并令其为0，得到：

$\frac{\partial g^*(y)}{\partial x}=y-a\bigtriangledown f(x)=0\Rightarrow y=a\bigtriangledown f(x)$

此时令最大解 $x^*$ ，则 $y=a\bigtriangledown f(x^*)$ ，代入

$g^*(y)=a \bigtriangledown^T f(x^*)x^*-af(x^*)-b=a(\bigtriangledown^T f(x^*)x^*-f(x^*))-b$

再看f的共轭函数 $f^*(y)$ ，对x求导，并令其为0，记最大解为 $x^{*1}$

$y^{'}=\bigtriangledown f(x^{*1})$

$f^*(y^{'})=\bigtriangledown ^Tf(x^{*1})x^{*1}-f(x^{*1})$

因为a>0，所以g(x)和f(x)的最大解是同一个解，故 $x^*=x^{*1}$

所以， $y^{'}=y/a$ ，故：

$g^*(y)=a(\bigtriangledown^T f(x^*)x^*-f(x^*))-b=af^*(y/a)-b$

(2)设 $A\in R^{n\times n}$ 非奇异， $b\in R^n$ ，则函数 $g(x)=f(Ax+b)$ 的共轭函数为 $g^*(y)=f^*(A^{-T}y)-b^TA^{-T}y$ ，且定义域为

$dom(g^*)=A^Tdom(f^*)$

证明：

$g^*(y)=\underset{x\in dom(f)}{sup}y^Tx-f(Ax+b)$

对x求导，并令其为0，得到：

$\frac{\partial g^*(y)}{\partial x}=y-A^T\bigtriangledown f(Ax+b)=0\Rightarrow y=A^T\bigtriangledown f(Ax+b)$

记最大解为 $x^{*1}$ ，则：

$g^*(y)=\bigtriangledown^T f(Ax^{*1}+b)Ax^{*1}-f(Ax^{*1}+b)$

再看f的共轭函数 $f^*(y)$ ，对x求导，并令其为0，记最大解为 $x^{*}$

$y^{'}=\bigtriangledown f(x^{*})$

$f^*(y^{'})=\bigtriangledown ^Tf(x^{*})x^{*}-f(x^{*})$

g(x)和f(x)的最大解是同一个解，故 $x^*=Ax^{*1}+b\Rightarrow x^{*1}=A^{-1}(x^*-b)$ ，代入到 $g^*(y)$ 中

$g^*(y)=\bigtriangledown^T f(Ax^{*1}+b)AA^{-1}(x^*-b)-f(Ax^{*1}+b)$

$=\bigtriangledown^T f(x^*)x^*-\bigtriangledown^T f(x^*)b-f(x^*)$ $=f^*(y^{'})-\bigtriangledown^T f(x^*)b$

又 $y=A^T\bigtriangledown f(Ax^{*1}+b)=A^T\bigtriangledown f(x^*)\Rightarrow \bigtriangledown f(x^*)=(A^T)^{-1}y$

代入： $g^*(y)=f^*(y^{'})-((A^T)^{-1}y)^Tb=f^*(y^{'})-b^T(A^T)^{-1}y$

又 $y^{'}=\bigtriangledown f(x^{*})$ ， $y=A^T\bigtriangledown f(x^*)\Rightarrow y^{'}=(A^T)^{-1}y$

故： $g^*(y)=f^*((A^T)^{-1}y)-b^T(A^T)^{-1}y$

得证

独立函数的和

如果函数 $f(u,v)=f_1(u)+f_2(v)$ ，且 $f_1,f_2$ 是凸函数，且共轭函数分别为 $f_1^*,f_2^*$ ，则 $f^*(w,z)=f_1^*(w)+f_2^*(z)$

凸优化第三章凸函数 3.3共轭函数