凸优化基本概念总结

总结凸优化中会出现的基本概念。

凸集

仿射集合和凸集

仿射集合

• 仿射集合$_{p_{20}}$
• 仿射组合
  
  • 可以将仿射集合表示为线性空间＋偏移量
• 仿射包$_{p_{20}}$
  
  • 包含$C$的最小仿射集合，其中$C$为任意集合
• 仿射维数$_{p_{21}}$
  
  • 集合$C$的仿射维数为仿射包的维数
  • 可根据仿射维数定义相对边界

凸集

• 直观理解，集合中的每一点都可以被其他点沿着他们之间一条无阻碍的路径看见，那么这个集合就是凸集。
• 可类似定义凸组合
  
  • 一个集合是凸集等价于集合包含所有点的凸组合
  • 点的凸组合可以看做是混合或加权平均
• 凸包
  
  • 集合$C$中所有点的凸组合的集合为凸包

锥

• 在二维上为扇形
• 可类似定义锥组合
• 锥包$_{p_{23}}$
  
  • 集合$C$中所有点的锥组合的集合为锥包，是包含$C$的最小凸锥

例子

• 空集、单点集合、全空间都是仿射的。
• 一条射线是凸的，但不是仿射的。
• 若射线的基点是原点，则为凸锥。
• 任意直线是仿射的，如果直线过原点，则为子空间（也是凸锥）。

超平面与半空间

• 可看成法线方向为$a$的超平面，而常数$b$则决定了这个平面从原点的偏移
  
  • $$\{x | a^Tx=b\}$$
• 超平面由所有正交于法向量$a$的向量+偏移$x_0$组成。
  
  • $$\{x | a^T(x-x_0)=0\}$$
• 一个超平面将$R^n$分为两个半空间$_{p_{24}}$
  
  • 半空间是凸的，但不是仿射的

多面体

• 为有限个线性等式和不等式的解集

  • $$P = \{x| a_j^Tx\le b_j,j=1,...,m,c^T_jx= d_j,j=1,...,p\}$$

• 可以用更紧凑的形式表示：

  • $$P = \{x| Ax\preceq b,Cx= d \}$$

• 单纯形式一类重要的多面体$_{p_{29}}$

  • 设$k+1$个点$x_0,...,v_k\in R^n$仿射独立，即$v_1-v_0,...,v_k-v_0$线性独立，那么这些点决定了一个单纯形：
  • $$C = conv\{v_0,...,v_k\} = \{\theta_0v_0+...+\theta_kv_k| \theta\succeq0,1^T\theta =1\}$$
  • 这个单纯形的仿射维数为$k$，因此也称为$R^n$空间的$k$维单纯形。
  • 单纯形有更容易理解的表达形式$_{p_{29}}$

半正定锥

• 我们用$S_{+}^n$表示对称半正定矩阵的集合：
  
  • $$S_{+}^n = \{X\in S^n|X\succeq 0\}$$
• 同样也可以表示对称正定集合$S_{++}^n$
• 很容易得到验证，集合$S_{+}^n$是一个凸锥。
  
  • $$x^T(\theta_1A+\theta_2B)x = \theta_1x^TAx + \theta_2x^TBx \ge 0$$

保凸运算

• 除了介绍一些凸集之外，我们需要一些运算，这些运算能帮助我们构造更多的凸集。

交集

• 交集运算时保凸的
• 例如，每一个闭集是包含它的所有半空间的交集$_{p_{32}}$。

仿射函数

• 仿射函数具有如下形式；即为一个线性函数和常数的和$_{p_{33}}$：
  
  • $$f(x)= Ax+b$$
• 因此，伸缩和平移是保凸的；
• 一个凸集向它的几个坐标的投影是凸的（投影矩阵）；
• 笛卡尔积也是保凸的；

线性分式和透视函数

透视函数

• 定义$P: R^{n+1}\to R^n，P(z,t) = z/t$为透视函数
• 透视函数对向量进行伸缩（规范化），使得最后一维分量为1并舍弃
• 可以通过小孔成像的例子来解释$_{p_{35}}$

线性分式

• 线性分式函数由透视函数和仿射函数复合而成：
• $$g(x) = (Ax+b,c^Tx+d)$$
• $$f(x) = (Ax+b)/(c^Tx+d)$$
• 其中$g(x)$为仿射函数，$P$为透视函数，$f=P\odot g$为线性分式函数

广义不等式

正常锥

• 我们定义$K$为正常锥，如果它满足：
  
  • $K$是凸的
  • $K$是闭的
  • $K$是实的，即具有非空内部
  • $K$是尖的，即不包含直线
• 可以使用正常锥来定义广义不等式，即为$R^n$上的偏序关系
  
  • $$x\preceq_K y \Leftrightarrow y-k \in K$$
  • $$x\prec_K y \Leftrightarrow y-k \in int (K )$$
• 广义不等式满足一般不等式的很多性质$_{p_{39}}$，但并不是一个线性序，也就是说，两点不一定能比

最小元和极小元

• 一个集合可能有多个极大元和极小元$_{p_{40}}$
• 不一定有最小元，极小元定义为：
  
  • $$(x-K)\bigcap S =\{x\}$$
  • $(x-K)$表示可以与$x$相比并且小于等于$x$的所有元素

分离与支撑超平面

超平面分离定理

• 两个不相交的凸集，一定存在一个超平面能将其分开$_{p_{42}}$。
• 若在两个凸集中有$a^Tx<b$和$a^Tx>b$，则能够严格分离。

支撑超平面

• 若$x_0$是边界上的一点，对于任意$x$都满足$a^Tx\le a^Tx_0$，则超平面$\{x| a^Tx = a^Tx_0\}$为集合$C$在点$x_0$处的支撑超平面。
• 支撑超平面定理$_{p_{46}}$：
  
  • 对任意非空凸集和任意$x_0$，都存在支撑超平面
  • 如果一个集合是闭的，具有非空内部，并且其边界上每个点均存在支撑超平面，则它是凸的。

对偶锥和广义不等式

• 定义$K$的对偶锥为：
  
  • $$K^* = \{y| x^Ty\ge 0,\forall x\in K\}$$
• 如论$K$是否为凸锥，对偶锥$K^*$一定是凸的。
• 我们之前根据正常锥定义了广义不等式和最小元，因此也可以对对偶锥定义同样的性质。

广义不等式的对偶

有两条重要性质，将广义不等式和对偶联系起来$_{p_{48}}$

• $x\preceq_K y$当且仅当对于任意$\lambda \succeq_{K^*}0$，有$\lambda^x \preceq\lambda^Ty$
• $x\prec_K y$当且仅当对于任意$\lambda \succeq_{K^*}0$和$\lambda\ne0$，有$\lambda^x \prec\lambda^Ty$

凸函数

基本性质

1. 若$dom f$为为凸集，且对于任意$x,y\in dom f$和任意$0\le \theta\le1$，有：

   $$f(\theta x + (1-\theta)y) \le \theta f(x) + (1-\theta)f(y)$$

   则$f$是凸函数。

2. 仿射函数既凸又凹。

3. 若$f$为凸函数，则对于$x \in dom f$和任意$v$，都有$g(t) = f(x+tv)$是凸的。这个性质非常有用：

   函数是凸的，当且仅当在其定义域相交的任何直线上都是凸的。

扩展值延伸

将凸函数在定义域外的值令为$\infty$，从而将这个凸函数延伸至全空间。

将延伸后的函数记为$\tilde{f}$，因此可得：

$$\tilde{f}(\theta x + (1-\theta)y) \le \theta \tilde{f}(x) + (1-\theta)\tilde{f}(y)$$

一阶条件

假设$f$可微，则函数是凸函数的充要条件是对于任意$x,y\in dom f$，都有：

$$f(y) \ge f(x) + \bigtriangledown f(x)^T(y-x)$$

其一阶Taylor近似是原函数的一个全局下估计。

二阶条件

$f$是凸函数的充要条件是其Hessian矩阵是半正定的。

对于$R$上的函数，可以简化为$f''(x)\ge 0$，可以理解为函数图像在点$x$处有正向上的曲率。

例子$_{p_{65}}$

• 指数函数
• 幂函数
• 负熵（$x\log x$）
• 范数
• 最大值函数
• 几何平均
  
  • $$f(x) = (\prod\limits_{i=1}^n x_i)^{1/n}$$
• 对数行列式
  
  • $$f(x) = \log \det X$$

下水平集

函数$f$的$\alpha-$下水平集为：

$$C_{\alpha} = \{x\in dom f| f(x) \le \alpha\}$$

对于任意$\alpha$，凸函数的下水平集依然为凸函数。

但反过来不一定成立：某个函数的所有下水平集都是凸集，但这个函数可能不是凸函数。

如果$f$为凹函数，则$\alpha-$上水平集也是凸集。

上镜图

函数$f$的上镜图定义为：

$$epi f =\{(x,t)| x\in dom f,f(x) \le t\}$$

一个函数是凸函数，当且仅当其亚图是凸集：

$$hypo f = \{(x,t)|t\le f(x)\}$$

Jensen不等式$_{p_{71}}$

若函数$f$是凸函数，$x_1,...,x_k \in dom f$，$\theta_1,...,\theta_k \ge 0$且和为1，则下式成立：

$$f(\theta_1x_1 + ... + \theta_k x_k)\le \theta_1f(x_1)+...+\theta_kf(x_k)$$

保凸运算$_{p_{73}}$

以下运算后的函数依然为凸函数：

• 非负加权求和
• 复合仿射变换

• 逐点最大和逐点上确界

  • 几乎所有凸函数都可以表示为一簇仿射函数的逐点上确界$_{p_{77}}$
• 标量（矢量）复合运算
• 最小化函数
• 透视函数

共轭函数$_{p_{85}}$

$$f^*(y) = \sup_{x\in dom f}(y^Tx - f(x))$$

此函数称为$f$的共轭函数；即差值$y^Tx - f(x)$在$dom f$所有上界构成了共轭函数的定义域

重点掌握以下凸函数的共轭函数：

• 负对数函数
• 负熵函数
• 严格凸的二次函数
• 对数行列式

Fenchel不等式$_{p_{89}}$

从共轭函数的定义可以得到，对于任意的$x$和$y$，有下列不等式成立：

$$f(x) + f^*(y) \ge x^Ty$$

拟凸函数$_{p_{90}}$

函数$f$称为拟凸函数，如果其定义域与及所有下水平集都是凸集：

$$S_{\alpha} = {x \in dom f| f(x)\le \alpha}$$

同样的，若$-f$是拟凸函数，即所有上水平集都是凸集，则$f$为拟凹函数。