最优化理论·非线性最小二乘

标签（空格分隔）：数学

非线性最小二乘问题是椭圆拟合中最易遇到的优化问题，本文主要对非线性二乘的基本分析做简单介绍

1. 什么是最小二乘问题

目标函数能够写为m个函数平方和的优化问题
image_1b9mpol4t1ffa1sa7149fvki1f8r9.png-3.9kB

其中，每个函数 $f_i(x)$ 都是待优化向量 $x$ 的函数。

2.非线性最小二乘问题

当 $f_i(x)$ 是关于 $x$ 的非线性函数时，即为非线性优化问题
此时，需要利用Taylor一阶展开近似 $f_i(x)$

2.1 $f_i(x)$ 的一阶近似

设 $x^{(k)}$ 是解 $x$ 的第k次近似，在此处将 $f_i(x)$ 进行一阶展开，并令一阶展开值为 $\varphi_i(x)$
对上式进行整理，得到
可以看到，一阶近似 $\varphi_i(x)$ 是关于待优化向量 $x$ 的线性函数：
- 是 $f_i(x)$ 的梯度【 $f_i(x)$ 对向量x求导】在 $x^{(k)}$ 处的取值
- 是 $f_i(x)$ 在 $x^{(k)}$ 处的取值

2.2 F(x)的近似

在得到 $f_i(x)$ 的一阶近似后，便可以计算得到F(x)的一阶近似，该一阶近似为 $\Phi(x)$ ：
image_1b9mqgscc1csg8v9lpeed1rls3h.png-4kB

image_1b9mqui2hvj316pv4en17oo1s9n3u.png-95.3kB

2.3 分析 $\Phi(x)$ 的具体形式

将平方和形式写为行向量、列向量乘积形式

$Φ (x) = [φ 1 (x), φ 2 (x), \dots φ m (x)] \cdot ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ φ 1 (x) φ 2 (x) \dots φ m (x) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥$ $\Phi(x) = \left [ \varphi_1(x),\varphi_2(x),\cdots\,\varphi_m(x) \right ] \cdot \begin{bmatrix} \varphi_1(x)\\ \varphi_2(x)\\ \dots\\ \varphi_m(x) \end{bmatrix}$
将 $\varphi_i(x)$ 的具体形式代入

$⎡ ⎣ ⎢ ⎢ ⎢ ⎢ φ 1 (x) φ 1 (x) \dots φ 1 (x) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ▽ f 1 (x (k)) T \cdot x - [▽ f 1 (x (k)) T - f 1 (x (k))] ▽ f 2 (x (k)) T \cdot x - [▽ f 2 (x (k)) T - f 2 (x (k))] \dots ▽ f m (x (k)) T \cdot x - [▽ f m (x (k)) T - f m (x (k))] ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥$ $\begin{bmatrix} \varphi_1(x)\\ \varphi_1(x)\\ \dots\\ \varphi_1(x) \end{bmatrix} = \begin{bmatrix} \ \bigtriangledown f_1(x^{(k)})^T \cdot x-\left [ \bigtriangledown f_1(x^{(k)})^T -f_1(x^{(k)})\right ]\\ \ \bigtriangledown f_2(x^{(k)})^T \cdot x-\left [ \bigtriangledown f_2(x^{(k)})^T -f_2(x^{(k)})\right ]\\ \dots\\ \ \bigtriangledown f_m(x^{(k)})^T \cdot x-\left [ \bigtriangledown f_m(x^{(k)})^T -f_m(x^{(k)})\right ]\\ \end{bmatrix}$
继续整理得到

$⎡ ⎣ ⎢ ⎢ ⎢ ⎢ φ 1 (x) φ 2 (x) \dots φ m (x) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ▽ f 1 (x (k)) T ▽ f 2 (x (k)) T \dots ▽ f m (x (k)) T ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ \cdot x - ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ▽ f 1 (x (k)) T ▽ f 2 (x (k)) T \dots ▽ f m (x (k)) T ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ \cdot x (k) + ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ f 1 (x (k)) f 2 (x (k)) \dots f m (x (k)) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥$ $\begin{bmatrix} \varphi_1(x)\\ \varphi_2(x)\\ \dots\\ \varphi_m(x) \end{bmatrix}= \begin{bmatrix} \ \bigtriangledown f_1(x^{(k)})^T \\ \ \bigtriangledown f_2(x^{(k)})^T \\ \dots\\ \ \bigtriangledown f_m(x^{(k)})^T \\ \end{bmatrix} \cdot x -\begin{bmatrix} \ \bigtriangledown f_1(x^{(k)})^T \\ \ \bigtriangledown f_2(x^{(k)})^T \\ \dots\\ \ \bigtriangledown f_m(x^{(k)})^T \\ \end{bmatrix} \cdot x^{(k)}+ \begin{bmatrix} \ f_1(x^{(k)})\\ \ f_2(x^{(k)})\\ \dots\\ \ f_m(x^{(k)})\\ \end{bmatrix}$
引入 $A_k$ 和 $b$ ！！！！！！

其中：
则有

$⎡ ⎣ ⎢ ⎢ ⎢ ⎢ φ 1 (x) φ 1 (x) \dots φ 1 (x) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = A k \cdot x - b$ $\begin{bmatrix} \varphi_1(x)\\ \varphi_1(x)\\ \dots\\ \varphi_1(x) \end{bmatrix}= A_k \cdot x - b$
那么，目标函数 $F(x)$ 的一阶近似 $\Phi(x)$ 的简洁形式为

$Φ (x) = (A k x - b) T \cdot (A k x - b)$ $\Phi(x) = (A_kx-b)^T \cdot (A_kx-b)$
它为标准的线性最小二乘问题

2.4 转化为线性最小二乘后的分析

Φ (x) = (A k x - b) T \cdot (A k x - b)

$\Phi(x) = (A_kx-b)^T \cdot (A_kx-b)$

一阶近似得到的优化问题就是线性最小二乘问题，可以利用最小二乘问题求解，直接求解梯度为0的点，即目标函数在 $x^{(k)}$ 处的最小值点应该满足如下线性方程的解
当 $A_K$ 为列满秩时，以上方程的解如下

这里注意，利用上述方法求得的最优解为目标函数在 $x^{(k)}$ 处的一阶近似最小值，不能作为全局最优解，只能说明在局部向最优解点又进一步走近了，记为 $x^{(k+1)}$