Écrivez le titre du répertoire ici
1.1 Méthode de flux optique de Lucas-Kanade
La méthode de flux optique de Lucas-Kanade est une méthode d'estimation de flux optique dense utilisée pour calculer le vecteur de mouvement de chaque pixel de l'image. Il suppose qu'entre des images adjacentes, la valeur de gris du pixel ne change pas beaucoup, de sorte que le vecteur de mouvement peut être résolu en minimisant la somme des carrés des résidus de valeur de pixel .
1.1 Étapes détaillées de la méthode de flux optique Lucas-Kanade :
- Pour les deux images d'entrée, sélectionnez une région d'intérêt (comme un rectangle) et sélectionnez certains points clés (comme les points d'angle) dans la région ;
- Pour chaque point clé, calculez sa position dans la première image et utilisez ses pixels environnants pour calculer un gradient d'image local ;
- Dans la deuxième image, la position du point clé dans la première image est utilisée comme position initiale, et itère le long de sa direction de gradient jusqu'à ce qu'une position qui minimise le pixel résiduel entre les deux images soit trouvée ;
- Répétez l'étape 3 jusqu'à ce que les vecteurs de mouvement de tous les points clés soient calculés ;
- Ces vecteurs de mouvement peuvent être utilisés pour estimer le mouvement de la caméra ou le mouvement de l'objet.
Plus précisément, à l'étape 3, un problème des moindres carrés doit être résolu, c'est-à-dire trouver un vecteur de déplacement qui minimise la valeur de pixel résiduelle entre les deux images. Soit I 1 ( x , y ) I_1(x, y)je1( x ,y )和I 2 ( x , y ) I_2(x,y)je2( x ,y ) représentent respectivement la première image et la seconde image à la position( x , y ) (x,y)( x ,y ) , alors le problème peut être exprimé comme suit :
min Δ p ∑ X , y ( je 1 ( X , y ) - je 2 ( X + Δ X , y + Δ y ) ) 2 \min_{\Delta p} \sum_{x,y} (I_1(x ,y) - I_2(x+\Delta x,y+\Delta y))^2p _minx , y∑( je1( x ,y )−je2( x+Δx , _y+y ) ) _2
Δ p = [ Δ x , Δ y ] \Delta p = [ \ Delta x, \Delta y]p _=[ ∆ x ,Δy ] est le vecteur déplacement. En dérivant cette formule, un système d'équations linéaires peut être obtenu :
[ ∑ X , y je X 2 ∑ X , y je X je y ∑ X , y je X je y ∑ X , y je y 2 ] [ Δ X Δ y ] = - [ ∑ X , y je X ( je 2 − je 1 ) ∑ X , y je y ( je 2 − je 1 ) ] \begin{bmatrix} \sum_{x,y} I_x^2 & \sum_{x,y} I_xI_y \\ \sum_{x,y } I_xI_y & \sum_{x,y} I_y^2 \end{bmatrix} \begin{bmatrix} \Delta x \\ \Delta y \end{bmatrix} = -\begin{bmatrix} \sum_{x,y} I_x(I_2-I_1) \\ \sum_{x,y} I_y(I_2-I_1) \end{bmatrice}[∑x , yjeX2∑x , yjexjey∑x , yjexjey∑x , yjey2][Δx _y _]=−[∑x , yjex( je2−je1)∑x , yjey( je2−je1)]
Parmi eux je x je_xjexSomme I y I_yjeyreprésentent respectivement xxx和aaDégradé dans la direction y . Ce système d'équations linéaires peut être résolu en utilisant la méthode des moindres carrés.