【优化】共轭函数(Conjugate Function)超简说明

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/shenxiaolu1984/article/details/78194053

共轭函数是最优化问题中非常重要的概念，常用来在原问题和对偶问题之间进行转换。
本文从便于理解的角度对其进行介绍，并推导常见例子。
本文主要参考S. Boyd and L. Vandenberghe, Convex Optimization中3.3节。

定义

对于原函数$f(x),x\in D$，其共轭函数为：

$$f^*(y)=\sup_{x\in D} (<y,x>-f(x))$$

其中，$<y,x>$表示两个变量的内积

• 对于标量：$<y,x>=y\cdot x$
• 对于向量：$<y,x>=y^Tx$
• 对于$n\times n$对称矩阵：$<y,x>=\textbf{tr} (yx)$

特别注意，共轭函数的定义域要求对$x\in D$，$<y,x>-f(x)$有上界。即，$f^*(y)$不能为无穷大。

物理意义

对于共轭函数的每一个自变量$y=\bar{y}$，其取值相当于一条直线与原函数之差的最大值：

$$f^*(\bar y)=\sup_{x\in D}(l(x)-f(x))$$
这条直线 $l(x)=<\bar y,x>$，其斜率由 $\bar y$决定。

两条曲线之差随着$x$变化，其最大值可以对$x$求导得到：

$$\frac{\partial(<y,x>-f(x))}{\partial x}=0 \Rightarrow f'(x)=y$$
即：曲线斜率与直线斜率相同处的 $x$，能够得到最大值。
$$f^*(\bar y)=<\bar y, \bar x>-f(\bar x), subject\ to\ f(\bar x)=\bar y$$

举例

Negative entropy

原函数：$f(x)=x\log x, x>0$

原函数为增函数。
对于$y<0$，$l(x)$为减函数。则$l(x)-f(x)$为减函数，不超过其在零点取值。
对于$y\geq 0$，$l(x)$也是增函数

$$\lim_{x\to \infty} l(x)/f(x)=\lim_{x \to \infty} l'(x)/f'(x)=\lim_{x\to \infty} y/(\log x + x)=0$$

$l(x)$增速小于$f(x)$增速，故其差有界。

故，$f^*(y)$的定义域为$y\in R$。

找到最大值处$x$的表达式：

$$\frac{xy - x\log x}{\partial x}=0 \Rightarrow x=e^{y-1}$$
代入共轭函数：
$$f^*(y)=y\cdot e^{y-1}-e^{y-1}(y-1)=e^{y-1}$$