Algoritmo de optimización ------ optimización de mínimos cuadrados no lineales

La optimización de mínimos cuadrados no lineales también se denomina problema de función de suma de cuadrados mínima no restringida, la forma es la siguiente

Si $f\left(x\right)$ esxxLa función lineal de$x$ . En este momento, el problema se convierte en un problema lineal de mínimos cuadrados. Hay una función especial para resolver este problema.

1. Método G-N

Se deriva del algoritmo de Newton de optimización sin restricciones, porque la función objetivo en el problema de optimización por mínimos cuadrados no lineales es relativamente simple y se puede obtener la forma específica de la matriz jacobiana. Sustituyéndola en la fórmula iterativa del método de Newton, G puede obtener el método -N. La expresión de la función objetivo, hay

por lo

Newton algoritmo de optimización sin restricciones, un gradiente de la función objetivo está sustituido, no existe

debido a la $R\left(x^k\right)$La cantidad de cálculo es relativamente grande. Ignore el método G – N disponible.

Es un algoritmo localmente convergente, que tiene una gran dependencia del punto inicial. Es posible converger sólo cuando el punto inicial está cerca del mínimo. punto.

2. Método G-N modificado

Para superar las deficiencias del método G-N, hay dos enmiendas.
1. Después de que se haya obtenido un punto mínimo aproximado $X^{Después\; de\; k}$ , calcule

dónde$a^{El}$ tamaño de${}^k$ se resuelve mediante el método de optimización unidimensional sin restricciones$minS\left(x^k\right)$Determine, debido a que cada paso requiere una búsqueda unidimensional, la cantidad de cálculo es muy grande.
2. Seleccione un pequeño número positivo$D_k$, Tal que $S(x^k+D_k{v}^k)<S\left(x^k\right)$, este tipo de esquema tiene una cantidad relativamente pequeña de cálculo y se puede usar un método más simple para determinar$D^{}$El valor de${}^k$ .

3. Método L-M

Cuando la matriz $(J_k{)}^T{J}_k$Cuando se trata de una matriz mal acondicionada, es posible que el algoritmo G-N no obtenga la solución correcta, incluso cuando $(J_k{)}^T{J}_k$Cuando es irreversible, el método G-N no se puede calcular. El algoritmo L-M utiliza el método de amortiguamiento de matriz de coeficientes para transformar la matriz $(J_k{)}^T{J}_k$La naturaleza del algoritmo permite que el algoritmo continúe. Hay dos pasos principales en el algoritmo L-M, uno es resolver la ecuación para

encontrar el incremento de la variable independiente y el otro es el coeficiente de amortiguamiento μ \ mualgoritmo de ajuste de$\mu$ .