凸集、凸函数、凸优化和凸二次规划

凸集

定义1：
凸函数图像的上方区域，一定是凸集。
定义2：
集合C内任意两点间的线段均包含在集合C形成的区域内，则称集合C为凸集。
凸集：

非凸集：

例如：

保持凸集凸性的运算：
(1)两个凸集的和为凸集
若S1、S2均为凸集，则S3 = S1+S2 = {x+y|x∈S1, y∈S2}也为凸集
(2)两个凸集的笛卡尔积为凸集
S1 x S2 = {(x1, x2) | x1∈S1, x2∈S2}
(3)凸集的仿射变换仍为凸集。
若f是仿射变换，S为凸集，则f(S) = {f(x) | x∈S}为凸集。反之，若f是仿射变换，f(S)为凸集，则S为凸集。
仿射函数：
仿射函数是由1阶多项式构成的函数，一般形式为 f (x) = A x + b，这里，A 是一个 m×k 矩阵，x 是一个k向量， b 都是一个 m 向量，实际上反映了一种从 k 维到 m 维的空间映射关系。
仿射变换：
从Rⁿ到R^m的映射 x→ Ax +b称为仿射变换（affine transform）或仿射映射（affine map）。

凸函数

定义1：
一个函数图像的上方区域是凸集，则该函数是凸函数。
定义2：
若函数 f 的定义域domf为凸集，且满足f(x + (1-θ)y) <= θf(x) + (1-θ)f(y)，其中x, y ∈domf 且 0=< θ <= 1。
凸函数举例：

保持凸函数凸性的运算：
(1)凸函数的非负加权和
若f _i (x)是凸函数，w_i是非负权重，则f(x) = w₁f₁(x)+…+w_nf_n(x)是凸函数。
(2)凸函数与仿射函数的复合
若f(x)是凸函数，g(t) = At + b是仿射函数，则f(g(x))是凸函数。

凸优化问题

约束最优化问题：

若目标函数 f(w) 为凸函数，可行域为凸集(满足不等式约束中g_i(w)为凸函数，且等式约束中h_j(w)为仿射函数时)则这种约束最优化问题称为凸优化问题，凸优化问题的局部最优解称为全局最优解。

二次规划问题与凸二次规划问题

约束优化问题：

二次规划问题：
r，α_i(i∈E∪I)为 n 维实向量， b_i(i∈E∪I) 为实数，若目标函数f(x)为二次函数，G为对称矩阵，不等式约束为仿射函数，则称上述约束优化问题为二次规划（quadratic programming）问题。
凸二次规划问题：
若目标函数f(x)中的矩阵G是(正定) 半正定矩阵，则称上述问题转换为（严格）凸二次规划问题（convex quadratic programming）。若G为半正定矩阵，可行域不为空，且目标函数f(x)在可行域有下界，则该凸二次规划问题有全局最小值。若G为正定矩阵，可行域不为空，且目标函数f(x)在可行域有下界，则该严格凸二次规划问题有唯一全局最小值。
Hessian矩阵(黑塞矩阵)：
https://baike.baidu.com/item/黑塞矩阵/2248782?fr=aladdin