数学优化与凸集1（斯坦福凸优化笔记1）

1 数学优化的概念：

生活中有很多数学优化的问题，数学优化问题可以写成一下形式：
minimize $f_{0}(x)$
subject to $f_{i}(x)\leq b_{i}， i=1，…m$
我们一般考虑一些特殊的优化问题。
若优化问题中目标函数和约束函数都是线性函数，即
对任意$x,y \in R^{n}$和$\alpha,\beta \in R$有：
$f_{i}(\alpha x+\beta y)=\alpha f_{i}(x)+\beta f_{i}(y)$
则这个问题就是我们高中就学过的线性规划。
实际上，一个优化问题能否很好的解决，并不取决于这个函数是否是线性的，而取决于这个函数是否是凸的。
这门课讨论的就是这个问题。若优化问题中目标函数和约束函数都是凸函数，即
对任意$x,y \in R^{n}$和$\alpha,\beta \in R$且满足$\alpha +\beta=1,\alpha \geq0 ,\beta \geq 0$有：
$f_{i}(\alpha x+\beta y)\leq\alpha f_{i}(x)+\beta f_{i}(y)$
这时线性规划问题就变成了凸优化问题。线性规划可以看作是凸优化的一种特例。线性规划要满足等式条件，而凸优化只需要满足不等式条件。凸优化是线性规划问题的扩充。凸优化问题被广泛应用中解决投资组合优化问题，解决器件尺寸问题以及数据拟合等应用中。

2 典型的凸优化问题

1最小二乘问题

最小二乘问题没有约束条件，目标项是若干项平方和，即：
minimize $f_{0}(x)=\left \|Ax-b \right \|_{2}^{2}=\sum\limits_{i=1}^k(a_i^Tx-b_i)^2$
其中，$A \in R^{k\times n }(k \geq n)$, $a_i^T$是矩阵$A$ 的行向量，向量$x \in R^n$是优化变量。
最小二乘问题有解析解，非常容易解决。而判断一个问题是否是最小二乘问题也很简单，就是判断目标函数是不是二次函数，然后看这个二次函数是否半正定。
看一个例子：$A= \left[ \begin{array}{ccc} %该矩阵一共3列，每一列都居中放置 1 & 2 & 3\\ %第一行元素 4 & 5 & 6\\ %第二行元素 7 & 8 & 9\\ 10 & 11 & 12\\ \end{array} \right] , b= \left[ \begin{array}{ccc} 1 \\ 2 \\ 3 \\ 4 \\ \end{array} \right]$
则$\left |Ax-b\right |^2_2=\left[ \begin{array}{ccc} 1x_1+2x_2+3x_3-1\\ 4x_1+5x_2+6x_3-2\\ 7x_1+8x_2+9x_3-3\\ 10x_1+11x_2+12x_3-4\\ \end{array} \right]$
此最小二乘问题目标函数即:
$f_0(x)={(1x_1+2x_2+3x_3-1)}^2 +{(4x_1+5x_2+6x_3-2)}^2+({7x_1+8x_2+9x_3-3)}^2+{(10x_1+11x_2+12x_3-4)}^2$
2线性规划问题

线性规划问题可以表述为：
minimize $c^Tx$
subject to $a_i^Tx\leq b_i, i=1…m.$
其中，向量 $c，a_1，…，a_m \in R^n, b_1,…,b_m \in R$是问题参数。
线性规划问题没有固定的解析式，但是处理线性规划问题也是一项成熟的技术了。线性规划问题相对于最小二乘问题，判断的难度相对大些。线性规划的求解已经集成在固定的工具箱里了。
3凸优化问题

最小二乘和线性规划都是凸优化问题的特例。一个问题只要能表达为凸优化问题，实际上就基本解决了这个问题，因为凸优化问题有很多成熟的解决方案。
但是，想识别一个问题是否是凸优化问题是有一定难度的。这将是这门课研究的重点。
(未完，待续)