Ceres introducción y ejemplos (9) Sobre Derivadas (Derivadas numéricas)

El otro extremo de usar derivadas analíticas es usar derivadas numéricas. El punto clave es que el proceso de derivación de la función f(x) con respecto a x se puede escribir en forma de límite:

Diferencias a plazo Diferencia a plazo

Por supuesto, en una computadora, no podemos realizar operaciones de límite numérico, así que lo que hacemos es elegir un valor h pequeño y aproximar la derivada como
$$Df\left(x\right)=\underset{h\to 0}{}\frac{f(x+h)-f(x}{h}$$

La fórmula anterior es la forma más simple y básica de diferenciación numérica. Esta es la llamada fórmula de diferencia directa.

Entonces, ¿cómo se crea una versión numéricamente discriminatoria de Rat43Analytic en el solucionador de Ceres ? Esto se puede hacer en dos pasos:

• 1. Defina un Functor para un valor de parámetro dado y calcule el residual para un (x, y) dado.
• 2. NumericDiffCostFunctionSe utiliza para construir una CostFunctioninstancia de paquete Rat43CostFunctor.

struct Rat43CostFunctor {
    
    
  Rat43CostFunctor(const double x, const double y) : x_(x), y_(y) {
    
    }

  bool operator()(const double* parameters, double* residuals) const {
    
    
    const double b1 = parameters[0];
    const double b2 = parameters[1];
    const double b3 = parameters[2];
    const double b4 = parameters[3];
    residuals[0] = b1 * pow(1.0 + exp(b2 -  b3 * x_), -1.0 / b4) - y_;
    return true;
  }

  const double x_;
  const double y_;

}
// Analytic算法中手动求解Jacobians的部分被拿掉了。

CostFunction* cost_function =
  new NumericDiffCostFunction<Rat43CostFunctor, FORWARD, 1, 4>(
    new Rat43CostFunctor(x, y));

Esta es la cantidad mínima de trabajo requerida para definir una función de costo. Lo único que debe hacer el usuario es asegurarse de que la evaluación de los residuos se implemente de manera correcta y eficiente.

Antes de continuar, es instructivo estimar primero el error en la formulación de la diferencia directa. Hacemos esto considerando la expansión de Taylor de f alrededor de x.
$$\begin{array}{rl}f(x+h)& =f\left(x\right)+href\left(x\right)+\frac{h^{}}{2!}{D}^{2}f\left(x\right)+\frac{h^{}}{3!}{D}^{3}f\left(x\right)+\cdots \\ Df\left(x\right)& =\frac{f(x+h)-f(x}{h}-\left[\frac{}{2!}{D}^{2}f\left(x\right)+\frac{h^{}}{3!}{D}^{3}f\left(x\right)+\cdots \right]\\ Df(x& =\frac{f(x+h)-f(x}{h}+O(h\end{array}$$
Es decir, el error en la fórmula de la diferencia directa es O(h)
PS: En el análisis de error asintótico, $oh\_{\_}^{El\; error\; de\; k})$hkh^kdel error cuando h está lo suficientemente cerca de 0$h^k$ es como máximo un múltiplo constante de .

detalles de implementacion

NumericDiffCostFunctionImplementa un algoritmo general para diferenciar numéricamente un funtor dado. Aunque NumericDiffCostFunctionla implementación real es compleja, la CostFunction resultante es más o menos la siguiente:

class Rat43NumericDiffForward : public SizedCostFunction<1,4> {
    
    
   public:
     Rat43NumericDiffForward(const Rat43Functor* functor) : functor_(functor) {
    
    }
     virtual ~Rat43NumericDiffForward() {
    
    }
     virtual bool Evaluate(double const* const* parameters,
                           double* residuals,
                           double** jacobians) const {
    
    
       functor_(parameters[0], residuals);
       if (!jacobians) return true;
       double* jacobian = jacobians[0];
       if (!jacobian) return true;

       const double f = residuals[0];
       double parameters_plus_h[4];
       for (int i = 0; i < 4; ++i) {
    
    
         std::copy(parameters, parameters + 4, parameters_plus_h);
         const double kRelativeStepSize = 1e-6;
         const double h = std::abs(parameters[i]) * kRelativeStepSize;
         parameters_plus_h[i] += h;
         double f_plus;
         functor_(parameters_plus_h, &f_plus);
         jacobian[i] = (f_plus - f) / h;
       }
       return true;
     }

   private:
     std::unique_ptr<Rat43Functor> functor_;
 };

Tenga en cuenta la elección del tamaño de paso h en el código anterior, usamos el tamaño de paso relativo $\text{kRelativeStepSize}=10^{-6}$ en lugar de un tamaño de paso absoluto que es el mismo para todos los parámetros.
Esto proporciona una mejor estimación de la derivada que el tamaño de paso absoluto. Esta elección de tamaño de paso solo es adecuada para valores de parámetros que no están cerca de cero. Por lo tanto,NumericDiffCostFunctionla implementación real de , utiliza una lógica de selección de tamaño de paso más compleja, donde cerca de cero cambia a un tamaño de paso fijo.

Diferencias centrales

El error O(h) en la formulación de la diferencia directa está bien, pero no es excelente. Un mejor enfoque es usar la fórmula de la diferencia central:
$$Df\left(x\right)\approx \frac{f(x+h)-f(x-h}{2h\_}$$

Tenga en cuenta que la fórmula de diferencia directa requiere solo un cálculo adicional si se conoce el valor de f(x), pero la fórmula de diferencia central requiere dos cálculos, lo que duplica su costo.
Entonces, ¿vale la pena la solución extra?
Para responder a esta pregunta, volvemos a calcular el error de aproximación en la fórmula de la diferencia central:
$$\begin{array}{rl}f(x+h)& =f\left(x\right)+href\left(x\right)+\frac{h^{}}{2!}{D}^{2}f\left(x\right)+\frac{h^{}}{3!}{D}^{3}f\left(x\right)+\frac{h^{}}{4!}{D}^{4}f\left(x\right)+\cdots \\ f(x-h)& =f\left(x\right)-href\left(x\right)+\frac{h^{}}{2!}{D}^{2}f\left(x\right)-\frac{h^{}}{3!}{D}^{3}f\left({do}_{}\right)+\frac{h^{}}{4!}{D}^{4}f\left(x\right)+\cdots \\ Df\left(x\right)& =\frac{f(x+h)-f(x-h}{2h\_}+\frac{h^{}}{3!}{D}^{3}f\left(x\right)+\frac{h^{}}{5!}{D}^{5}f\left(x\right)+\cdots \\ Df(x& =\frac{f(x+h)-f(x-h}{2h\_}+oh\_{\_}^2\end{array}$$

El error de la fórmula de la diferencia central es $oh\_{\_}^2)$, es decir, el error cae cuadráticamente, mientras que el error en la fórmula de la diferencia directa solo cae linealmente.

Es muy sencillo usar la diferencia central en lugar de la diferencia directa en Ceres Solver, los NumericDiffCostFunctionparámetros de plantilla modificados son los siguientes

CostFunction* cost_function =
// 将前向差分转换为中心差分很简单：只需要将NumericDiffCostFunction模板参数中的FORWARD更改为CENTRAL
  new NumericDiffCostFunction<Rat43CostFunctor, CENTRAL, 1, 4>(
    new Rat43CostFunctor(x, y));

Pero, ¿qué significan estas diferencias en los errores en la práctica? Para entender esto, considere el problema de derivar una función de una variable
　　　　　　　　　　　$f\left(x\right)=\frac{{mi}^{}}{pecado\_\_x-x^2}，untx\_=1.0$
　　　　　　　　　　　
es fácil encontrar la derivada en esta posición$Df\left(1.0\right)=140.73773557129658$
PD: Consulte http://www2.edu-edu.com.cn/lesson_crs78/self/j_0022/soft/ch0302.html para obtener información sobre derivados

Usando este valor como referencia, ahora podemos calcular el error relativo en las fórmulas de diferencia de avance y centro como una función del tamaño de paso absoluto y graficarlos.

Al leer este cuadro de derecha a izquierda, se destacan algunas cosas en el cuadro anterior:

• 1. Los gráficos de ambas fórmulas tienen dos regiones diferentes. Primero, comenzando con un valor muy grande de h, este error disminuye como efecto de la serie de Taylor truncada, pero a medida que los valores de h continúan disminuyendo, este error comienza a aumentar nuevamente, ya que el error de "redondeo" comienza a dominar. el cálculo de la posición dominante. Por tanto, no podemos seguir obteniendo una estimación más precisa de Df reduciendo h. Nuestra aproximación se convierte en un factor limitante obvio.
• 2. La fórmula de diferencia directa no es una buena forma de encontrar derivadas. A medida que disminuye el tamaño del paso, la fórmula de la diferencia central converge más rápidamente a una estimación derivada más precisa. Por lo tanto, a menos que la función de evaluación de f(x) sea tan complicada que la fórmula de la diferencia central no se pueda permitir, no use la fórmula de diferenciación directa.
• 3. Para un mal valor de h, no se aplica ninguna fórmula.

método del caballero

En los dos métodos diferenciales anteriores, la precisión está limitada por la precisión del número de punto flotante de la computadora, es decir, h no puede ser infinitamente pequeño. Entonces, ¿podemos obtener una mejor estimación de Df sin que h sea tan pequeña que empecemos a alcanzar los límites de precisión de los números de punto flotante?

Un enfoque posible es encontrar una forma de reducir el error en menos de $oh\_{\_}^2)$Método rápido
Esto se puede lograr aplicando la extrapolación de Richardson al problema de diferenciación. Esto también se conoce como el Método Ridders.

Repasemos el error en la fórmula de la diferencia central.
$$\begin{array}{rl}Df\left(x\right)& =\frac{f(x+h)-f(x-h}{2h\_}+\frac{h^{}}{3!}{D}^{3}f\left(x\right)+\frac{h^{}}{5!}{D}^{5}f\left(x\right)+\cdots \\ & =\frac{f(x+h)-f(x-h}{2h\_}+k_{}{h}^2+k_{}{h}^4+\end{array}$$

Las cosas clave a tener en cuenta aquí son $k_{},k_{},...$ no tiene nada que ver con h, solo con x.
Definamos$$un(1,m)=\frac{f(x+h/2^{metro-1})-f(x-h/2^{m-1}}{2horas/2^{metro-1}}.$$

Luego observa que $$\begin{gathered} Df\left(x\right)=un(1,1)+k_{}{h}^2+k_{}{h}^4+\cdots \\ Df\left(x\right)=un(1,2)+k_{}(h/2{)}^2+k_{}(h/2{)}^4+\cdots \end{gathered}$$

Aquí reducimos a la mitad el tamaño del paso para obtener una segunda estimación de diferencia central de Df(x). Combinando las dos estimaciones anteriores, obtenemos:
$$Df\left(x\right)=\frac{4A(1,2)-un(1,1}{4-1}+oh\_{\_}^4)$$

Es una aproximación de Df(x) con un error de truncamiento de $oh\_{\_}^4)$Pero no tenemos que detenernos ahí. Podemos iterar este proceso para obtener estimaciones más precisas de la siguiente manera:
A ( n , m ) = { f ( x + h / 2 m − 1 ) − f ( x − h / 2 m − 1 ) 2 h / 2 m − 1 norte = 1 4 norte - 1 UN ( norte - 1 , metro + 1 ) - UN ( norte - 1 , metro ) 4 norte - 1 - 1 norte > 1 \begin{split}A(n, metro ) = \begin {casos} \frac{\displaystyle f(x + h/2^{m-1}) - f(x - h/2^{m-1})}{\displaystyle 2h/2^{ m-1} } & n = 1 \\ \frac{\displaystyle 4^{n-1} A(n - 1, m + 1) - A(n - 1, m)}{\displaystyle 4^{n -1} - 1} & n > 1 \end{casos}\end{dividir}un ( n ,m )=⎩ ⎨ ⎧2 horas / 2metro - 1f ( x+h / 2metro - 1 )−f ( x−h / 2m − 1 )4norte - 1−14norte - 1 UN(norte−1 ,metro+1 )−un ( n−1 ,m )​norte=1norte>1​

Es fácil probar que $un(n,1)$ el error de aproximación es$oh\_{\_}^{2n})$. Para entender cómo la fórmula anterior calcula realmente$un(n,1)$ Por ejemplo, se da una de las siguientes soluciones:
$$\begin{array}{r}\begin{array}{ccccc}un(1,1)& un(1,2)& un(1,3)& un(1,4)& \cdots \\ & un(2,1)& un(2,2)& un(2,3)& \cdots \\ & & un(3,1)& un(3,2)& \cdots \\ & & & un(4,1)& \cdots \\ & & & & \end{array}\end{array}$$

Por lo tanto, para calcular $un(n,1)$ Para valores de incremento n, nos movemos de izquierda a derecha, calculando una columna a la vez. Suponiendo que el costo principal aquí es la evaluación de la función f(x), entonces el costo de calcular una nueva columna en la tabla anterior es la evaluación de las dos funciones.
Dado que calcular$un(1,n)$ , el tamaño del paso de cálculo es$2^{}$La fórmula de la diferencia central de${}^1$${}^{-}$${}^n$$h$

Aplicando este método a $f\left(x\right)=\frac{{mi}^{}}{pecado\_\_x-x^2}$, comenzando con un tamaño de paso bastante grande h=0.01, obtenemos:
$$\begin{array}{r}\begin{array}{rrrrr}141.678097131& 140.971663667& 140.796145400& 140.752333523& 140.741384778\\ & 140.736185846& 140.737639311& 140.737729564& 140.737735196\\ & & 140.737736209& 140.737735581& 140.737735571\\ & & & 140.737735571& 140.737735571\\ & & & & \end{array}\end{array}$$

Relativo al valor de referencia $Df\left(1.0\right)=140.73773557129658，A(5,1)$ El error relativo es$10^{-13}$
para comparación, con la misma longitud de paso$0.01/2^4=Bajo\; 0.000625$ , el error relativo de la fórmula de la diferencia central$0.01/2^4=0.000625$

La tabla anterior es la base del método de diferenciación numérica de Ridders. La implementación completa es un esquema adaptativo que rastrea su propio error de estimación y se detiene automáticamente cuando se alcanza la precisión deseada. Por supuesto, es más costosa que la formulación de diferencia de centro y delantera, pero también significativamente más robusta y precisa.
Usar el método de Ridder en lugar de la diferenciación directa o centrada es un asunto simple en Ceres, cambiando los NumericDiffCostFunctionparámetros de la plantilla de la siguiente manera:

CostFunction* cost_function =
  new NumericDiffCostFunction<Rat43CostFunctor, RIDDERS, 1, 4>(
    new Rat43CostFunctor(x, y));

Los gráficos a continuación muestran el tamaño de paso absoluto frente al error relativo para los tres métodos de diferenciación. Para el método de Ridders, asumimos que evaluando $un(n,1)$ El tamaño de paso correspondiente es$2^{1-norte}h$。

Calcular A(5,1) usando el método Ridders requiere calcular la función de evaluación diez veces, y para Df(1.0) nuestra estimación es 1000 veces mejor que la estimación de la diferencia central. Para calcular estos números con precisión, el tipo de coma flotante de doble precisión de la computadora $\approx 2.22\times 10^{-16}$ _

Volviendo a Rat43, veamos también los costos de tiempo de ejecución de varios métodos para calcular derivadas numéricas.

CostoFunción	Tiempo (ns)
Rat43Analítico	255
Rat43AnalyticOptimized	92
Rat43NumericDiffAdelante	262
Rat43NumericDiffCentral	517
Rat43NumericDiffRidders	3760

Como era de esperar, el tiempo de ejecución de la diferenciación central es aproximadamente el doble que el de la diferenciación directa, y el método de Ridders es muchas veces más largo que los dos anteriores, aunque su precisión también ha mejorado significativamente.

sugerencia

La diferenciación numérica se debe usar cuando no se puede calcular la derivada analíticamente o usando la diferenciación automática. Esto generalmente sucede cuando llama a una biblioteca o función externa cuya forma analítica no conoce, o incluso si la conociera, no puede reescribirla de una manera que use Derivadas Automáticas.
Cuando utilice la diferenciación numérica, intente utilizar el método de la diferencia central. Si el tiempo de ejecución no es una preocupación, o si no se puede determinar un tamaño de paso relativo estático apropiado para la función objetivo, se recomienda el método de Ridders.