凸优化CH1引论

CH1 引论

凸优化

minimize $f_0(x)$

subject to $f_i(x)\leq b_i,i = 1,2,...m$

$f_0(x):R^n->R$,目标函数，$f_i(x):R^n->R$,约束函数

线性规划：任意$x,y\in R^n,\alpha, \beta \in R$, 有$f_i(\alpha x+ \beta y) = \alpha f_i(x) + \beta f_i(y)$

凸优化：任意$x,y\in R^n,\alpha, \beta \in R$，且满足$\alpha+\beta = 1, \alpha \geq 0, \beta \geq 0,$，下述不等式成立$f_i(\alpha x+ \beta y) \leq \alpha f_i(x) + \beta f_i(y)$

最小二乘，线性规划都是特殊的凸优化问题。存在很多有效的算法求解凸优化问题，在一些情况下，可以证明，内点法可以在多项式时间内以给定的精度求解这些凸优化问题。

其中值得一提的点是：通过在最小二乘成本函数中添加正则项，当$x)$过大时添加惩罚，可使得到的解比仅仅优化第一项更切合实际。在统计估计中，当$x$的分布预先知道时，可以采用正则化方法。二次正则项的最小二乘：$\sum_{i=1}^k(a_i^Tx-b_i)^2+\rho\sum_{i=1}^nx_i^2$

从概念上讲，如果能将某个问题表述为凸优化问题，那么该问题就能迅速的求解。其中的关键在于判断问题是否为凸优化以及将问题转化为凸优化。

非线性优化

局部优化

不再搜寻使目标函数数值最小的最优可行解，而是寻找局部最优解(满意解)。仅仅要求目标函数和约束函数可微，局部优化即可迅速求解。缺点在于：
- 无法估计局部最优和全局最优有多大的差距
- 初始值敏感
- 参数值敏感

局部优化需要选择合适的算法，调整算法的参数，选取一个足够好的初始点，或提供一个选取比较好初始点的方法。局部优化方法是一种有效的技巧而不仅是一项技术。和凸优化不同，将实际问题建模为非线性优化问题是相当直接的，而技巧主要体现在求解上。

全局优化

全局优化能够找到绝对最差的参数取值，如果，往往用于高价值系统和安全性第一的系统中最坏情况分析问题和验证问题。如果在最差的情况下，系统性能依然可以接受，那么系统是安全可靠的。

扫描二维码关注公众号，回复： 100280 查看本文章

非凸优化中凸优化的应用（略）

局部优化中使用凸优化求初始值

非凸优化中的启发式算法

全局优化的界