版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhangjunhit/article/details/88893190
Unconstrained Optimization
3. Edition, March 2004
Poul Erik Frandsen, Kristian Jonasson Hans Bruun Nielsen, Ole Tingleff
1 Introduction
最优化问题，对于一个给定函数 F，我们寻找一个向量 x* 使得 F（x*）为函数局部极小值
函数的最大值问题和最小值问题本质是同一个问题
上面这个函数具有一个唯一的最小值。
第二个函数具有很多个极小值
第三个函数具有一个全局极小值和很多个局部极小值
1.1. Conditions for a Local Minimizer 局部极小值的条件
我们假定 f 二阶偏微分是连续的。在点 x 邻域内 x+h 位置 对函数进行一阶泰勒展开
If the point x is a local minimizer it is not possible to find an h so that f(x+h) < f(x) with ||h|| small enough
由此我们得到 局部极小值点的一个必要条件
Stationary point
对 f 在 x+h 处 泰勒展开
对于一个 stationary point，其一阶导数为 0，所以
如果对于所有的 h 上面公式右边第二项都是 正值，我们就说 f’’(xs) 是正定的 positive definite
stationary point 分类：
如果 f’’(xs) =0 我们就需要分析更高阶泰勒项来找极小值
11