机器学习----凸优化

一、概念

$~~~~~~~$最优化问题目前在机器学习，数据挖掘等领域应用非常广泛，因为机器学习简单来说，主要做的就是优化问题，先初始化一下权重参数，然后利用优化方法来优化这个权重，直到准确率不再是上升，迭代停止。

两个正数的算术平均数大于等于几何平均数：
$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~$
给定可逆对称阵Q，对于任意的向量x，y，有：

$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~$

1.1 仿射集:（直线）

通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集。
∀θ∈R, ∀x1,x2∈C 则x=θx1+(1−θ)x2∈C
∀θ∈R, ∀x1,x2∈C 则x=θx1+(1−θ)x2∈C

1.2 凸集:（线段）

$~~~~~~~~$如果通过集合C中任意两个不同点之间的线段(上的任何点)仍在集合C中，那么称集合C是凸的。
θx1+(1−θ)x2∈C;其中x1,x2∈C，0⩽θ⩽1
θx1+(1−θ)x2∈C;其中x1,x2∈C，0⩽θ⩽1

1.3 锥定义（射线）

$~~~~~~~~$给定 C∈Rn，满足x∈C⇒tx∈C对于任意t≥0C∈Rn，满足x∈C⇒tx∈C对于任意t≥0称之为锥。

1.4 凸锥（convex cone）：

x1,x2∈C⇒t1x1+t2x2∈C,对于任意t1,t2≥0x1,x2∈C⇒t1x1+t2x2∈C,对于任意t1,t2≥0都成立，那么称集合C 为凸锥。显然凸锥是锥的一种。

1.5 凸优化

拉格朗日乘子法就是求函数f(x1,x2,…)在约束条件h(x1,x2,…)=0下的极值的方法：

扫描二维码关注公众号，回复： 2172343 查看本文章

1.6 运用

具体详见