用数学语言来说， 最优化就是求一个函数在给定集合上的极值。 几乎所有类型的优化问题都可以形成如下的数学模型：给定一个集合$X$和该集合上定义的实值函数$f(x)$, 求函数在可行集上的最小值
$min f(x)$
s.t $x \in X$
其中$x$称为决策变量。一般人们按照可行集的性质对优化问题进行一个大概分类。 如果可行集中元素是有限的 ， 则问题成为组合优化或网络规划；如果可行集是有限维空间中的一个子集， 则问题称为线性和非线性规划；如果可行集是依赖于时间的决策序列， 则问题称为动态规划；如果可行集是无穷维空间中的连续子集， 则称为最优控制问题。