Escriba el título del directorio aquí
1.1 Método de flujo óptico de Lucas-Kanade
El método de flujo óptico de Lucas-Kanade es un método de estimación de flujo óptico denso que se utiliza para calcular el vector de movimiento de cada píxel de la imagen. Supone que entre fotogramas adyacentes, el valor de gris del píxel no cambia mucho, por lo que el vector de movimiento se puede resolver minimizando la suma de los cuadrados de los valores residuales del píxel .
1.1 Pasos detallados del método de flujo óptico de Lucas-Kanade:
- Para las dos imágenes de entrada, seleccione una región de interés (como un rectángulo) y seleccione algunos puntos clave (como puntos de esquina) dentro de la región;
- Para cada punto clave, calcule su posición en la primera imagen y use los píxeles circundantes para calcular un degradado de imagen local;
- En la segunda imagen, la posición del punto clave en la primera imagen se usa como posición inicial y se itera a lo largo de su dirección de gradiente hasta que se encuentra una posición que minimiza el píxel residual entre las dos imágenes;
- Repita el paso 3 hasta que se calculen los vectores de movimiento de todos los puntos clave;
- Estos vectores de movimiento se pueden usar para estimar el movimiento de la cámara o el movimiento del objeto.
Específicamente, en el paso 3, se debe resolver un problema de mínimos cuadrados, es decir, encontrar un vector de desplazamiento que minimice el valor de píxel residual entre las dos imágenes. Sea I 1 ( x , y ) I_1(x,y)I1( X ,y )和I 2 ( x , y ) I_2(x,y)I2( X ,y ) representan respectivamente la primera imagen y la segunda imagen en la posición( x , y ) (x,y)( X ,y ) , entonces el problema se puede expresar como:
min Δ pags ∑ x , y ( yo 1 ( x , y ) − yo 2 ( x + Δ x , y + Δ y ) ) 2 \min_{\Delta p} \sum_{x,y} (I_1(x ,y) - I_2(x+\Delta x,y+\Delta y))^2pag_ _minutox , y∑( yo1( X ,y )−I2( X+Δx , _y+y ) ) _2
Δ p = [ Δ x , Δ y ] \Delta p = [ \ Delta x, \Delta y]pag_ _=[ Δ x ,Δy ] es el vector de desplazamiento. Al derivar esta fórmula, se puede obtener un sistema de ecuaciones lineales:
[ ∑ x , y yo x 2 ∑ x , y yo x yo y ∑ x , y yo x yo y ∑ x , y yo y 2 ] [ Δ x Δ y ] = − [ ∑ x , y yo x ( yo 2 − yo 1 ) ∑ x , y yo y ( yo 2 − yo 1 ) ] \begin{bmatrix} \sum_{x,y} I_x^2 & \sum_{x,y} I_xI_y \\ \sum_{x,y } I_xI_y & \sum_{x,y} I_y^2 \end{bmatrix} \begin{bmatrix} \Delta x \\ \Delta y \end{bmatrix} = -\begin{bmatrix} \sum_{x,y} I_x(I_2-I_1) \\ \sum_{x,y} I_y(I_2-I_1) \end{bmatriz}[∑x , yIX2∑x , yIxItu∑x , yIxItu∑x , yIy2][Δx _y_ _]=−[∑x , yIx( yo2−I1)∑x , yItu( yo2−I1)]
Entre ellos yo x yo_xIxSuma yo y yo_yItuRespectivamente representan xxx和 y y Gradiente en la dirección y . Este sistema de ecuaciones lineales se puede resolver utilizando el método de mínimos cuadrados.