共轭函数两个性质的证明

学习机器学习的时候有涉及到共轭函数（也叫对偶函数），这边文章总结一下共轭函数的学习

共轭函数的定义：对于函数 $f(x)$ 其定义如下：

$f^{*}(t)=\max_{x\in dom(f)}\{xt-f(x)\} \rightline{\text(1)}$

$dom(f)$ 表示函数 $f(x)$ 的定义域，可以这样理解这个函数：首先它是关于 $t$ 的函数，给定一个 $t$ 值时，关于 $x$ 的函数 $xt-f(x)$ 在定义域上的最大值，即 $f^{*}(t)$ 对应的值

共轭函数在支持向量机的数学理论证明有涉及过，在最近火的不行的Gan生成对抗神经网络进阶版本的数学推理中也发挥着神奇的作用（听说待学习）

因为它有两个非常好的性质：

1. 无论 $f(x)$ 是否是凸函数，其共轭函数都是凸函数

2. 凸函数的共轭函数的共轭函数是它自己

首先解释一下凸函数，机器学习里面的的凸函数和以前高中数学学到的凸函数有点不一样，在机器学习里面 $y=x^{2}$ 是凸函数， $y=-x^{2}$ 是凹函数，简单来说，机器学习里面的凸函数有下面的性质（也是凸函数的定义之一）：

$f(\theta x_{1}+(1-\theta)x_{2})\leq \theta f(x_{1})+(1-\theta))f(x_{2}))(\1\geq \theta\geq 0) \rightline{\text(2)}$

可以简单的从下图理解：（ $f(x)=x^2, x_{1}=-5 ,x_{2}=8, \theta=8/13$ ）

扫描二维码关注公众号，回复： 5278214 查看本文章

现在来证明共轭函数第一条性质，即：

1. 无论 $f(x)$ 是否是凸函数，其共轭函数都是凸函数

等价要证明：

$f^{*}(\theta t_{1}+(1-\theta) t_{2})\leq \theta f^{*}(t_{1})+(1-\theta)f^{*}(t_{2}) \rightline{\text(3)}$

代入共轭函数的定义，上述不等式等价于：

$\max_{x \in dom(f)}\{(\theta t_{1}+(1-\theta) t_{2})x-f(x)\} \leq \\ \theta\max_{x \in dom(f)}\{t_{1}x-f(x)\}+(1-\theta)\max_{x \in dom(f)}\{t_{2}x-f(x)\} \rightline{\text(4)}$

上述不等式左边等价于：

$\max_{x \in dom(f)}\{\theta (t_{1}x-f(x))+(1-\theta)( t_{2}x-f(x))\} \rightline{\text(5)}$

假设在 $x_{0}$ 出取到最大值，上式等于：

$\theta (t_{1}x_{0}-f(x_{0}))+(1-\theta)( t_{2}x_{0}-f(x_{0})) \rightline{\text(6)}$ 而 $\theta (t_{1}x_{0}-f(x_{0})) \leq \max_{x \in dom(f)}\{\theta(t_{1}x-f(x))\} \rightline{\text(7)}$ $(1-\theta)(t_{2}x_{0}-f(x_{0})) \leq \max_{x \in dom(f)}\{(1-\theta)(t_{2}x-f(x))\} \rightline{\text(8)}$