梯度下降法,又称最速下降法、梯度法
无约束最优化领域中最简单的算法
下降后的函数值,寻找下降的方向d
1. 名字释义
最速下降法只使用目标函数的一阶导数信息,并且,它的本意是取目标函数值“最快下降”的方向作为搜索方向。
2. 函数值下降最快的方向
先说结论:沿负梯度方向 d=−gk ,函数值下降最快。
证明:
对做一节泰勒展开:
PS:一阶泰勒展开式一般形式
是常数,忽略。即求让最小的d。
又有柯西不等式,得:
且当d=gk时,取得最大值。所以g=-gk时,取得最小值,此时f(x)的下降量最大,即-gk是下降最快的方向。
3. 缺点
只在局部范围内具有“最速”性质,对于整体求解过程而言,速度是非常缓慢