数学知识--Methods for Non-Linear Least Squares Problems(第一章)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhangjunhit/article/details/88883459

Methods for Non-Linear Least Squares Problems 非线性最小二乘问题的方法
2nd Edition, April 2004
K. Madsen, H.B. Nielsen, O. Tingleff

1 Introduction and Definitions
第一章 介绍和定义

这本小册子主要关注 Least Squares Problem
在这里插入图片描述
最小二乘问题是全局最优化问题的一个特例,全局最优化问题:
在这里插入图片描述
这个问题很难,一般情况下我们寻找 F 的一个局部极小解
在这里插入图片描述
这里我们假定 cost function F 是 differentiable 以及足够平滑,其泰勒展开如下:
在这里插入图片描述
如果 x* 是一个局部极小值,||h|| 足够的小,那么我们就不能找到一个点 x*+h 使其对应的 F 值更小,我们根据这个 observation 并结合 (1.4a) 得到如下结论:
在这里插入图片描述
所以一个局部极小解的点 同时也是一个 stationary point,但是局部极大值点也是一个 stationary point。如果一个 stationary point 既不是局部极大值也不是局部极小值点,它就称之为 saddle point,为了确定一个给定的 stationary point 是不是一个局部极小值点,我们需要在泰勒展开中包含二阶项。
在这里插入图片描述
注意: 根据 stationary point 的定义, 上面的一阶项为 0,所以泰勒展开就没有了一阶项。

根据 Hessian 的定义,我们知道任意的 H 是一个 对称矩阵,如果我们要求 Hs 是 正定 positive definite,那么其对应的所有特征值大于一个数 δ >0
在这里插入图片描述
所以如果 ||h|| 足够小,(1.7)式右边的第三项受二阶主导,而二阶项始终为 正,所以我们的得到
在这里插入图片描述
假定 xs 是一个 stationary point, F”(xs)是正定,那么 xs 是一个极小值点。如果 Hs 是负定,那么 xs 是一个局部极大值点。 如果 Hs 是 indefinite(同时具有正负特征值),xs 是一个 saddle point

111

猜你喜欢

转载自blog.csdn.net/zhangjunhit/article/details/88883459
今日推荐