无约束多维极值
无约束多维极值问题的一般表达式为
它一般需要求全局最优点，但大部分优化算法都做不到，不过每个问题都有一定的应用背景，局部最优点不多，有时候局部最优点就是全局最优点，大部分时候可以根据经验判断结果可用性。（需要MATLAB编程以下算法可私信我，我看到后会立刻编程回复）
1. 直接法
直接法是不需要计算导数的一种算法，它们采用的方法是沿坐标轴搜索函数的下降方向或者沿预先给定的方向进行搜索，因此本质是一种搜索----试探----前进的反复过程，它的计算速度比使用导数的算法慢一些，但是迭代比较简单，容易编程。
1.1 模式搜索法
模式搜索法又叫Hooke–Jeeves法，算法主要由两种移动过程组成：探测移动和模式移动。探测移动是沿坐标轴方向的移动，模式移动则是沿相邻两个探测点连线方向上的移动。两种移动模式交替进行，目的是顺着函数值下降的最佳方向进行搜索。
1.2 Rosenbrock法
它是一种转轴法，基本思想就是在当前点构造n个正交方向，然后在每个方向进行探测移动，找到函数值下降最快的方向，移动某个步长，再在新的点构造新的n个正交方向，如此循环下去。
1.3 单纯形搜索法
它通过构造单纯形来逼近极小点，每构造一个单纯形，确定其最高点和最低点，然后通过扩展、压缩、反射构造新的单纯形，目的是使得极小点能够包含于单纯形内。
1.4 Powell法
Powell法在搜索的每一阶段先依次沿n个已知的方向搜索，得到下一次搜索的基点，然后沿相邻两个基点的连线方向搜索得到新的基点，并用这个方向取代前面的n个方向之一。
2. 间接法
2.1 最速下降法
它的搜索方向是目标函数的负梯度方向，从目标函数的负梯度方向一直前进，直到到达目标函数的最低点。
2.2 共轭梯度法
它是利用目标函数梯度逐步产生共轭方向作为线搜索方向的算法，每次搜索方向都是在目标函数梯度的共轭方向，搜索步长通过一维极值算法确定。
2.3 牛顿法
牛顿法是基于多元函数的泰勒展开而来的，基本迭代公式为
由于牛顿法的一些局限性，随后还出现了改进的牛顿法和拟牛顿法。
2.4 信赖域法
它是一种比较复杂但是十分有效的优化算法，它通过在一个信赖域内求解一个二次规划来得到可行点。在每个可行点处，在给定信赖域半径下通过求解下面的子问题得到搜索方向，得到搜索方向后再对信赖域半径进行修正。
2.5 显式最速下降法
基本无用。