光流法学习

光流估计就是指利用时间上相邻的两帧图像，得到点的运动。满足以下几点假设：

• 前后两帧点的位移不大（泰勒展开）
• 外界光强保持恒定。
• 空间相关性，每个点的运动和他们的邻居相似（连续函数，泰勒展开）

在相邻的两帧图像中，点(x,y)发生了位移(u,v)，那么移动前后两点的亮度应该是相等的。如下：

                                            

从这个式子出发，我们将其利用Taylor展开做一阶线性近似。其中Ix, Iy, It分别是Image对这几个变量的偏导数。

                           

上面两式联立，可以得到，

　　　　　　　                       　

上式中，可以通过图像沿xx方向和yy方向的导数计算，可以通过计算。未知数是， 正是我们想要求解的每个像素在前后相邻两帧的位移。

上面就是光流估计的基本思想。上述式子虽然给出了光流估计的思路，但是还是没有办法解出位移量。Lucas-Kanade方法是一种具体的求解方法。L-K方法依据相邻像素之间的位移相似的假设，通过一个观察窗口，将窗口内的像素点的位移看做是相同的，建立了一个超定方程，使用最小二乘法进行求解。下面是观察窗口为5×5的时候，建立的方程。

                          

使用最小二乘法求解，可以得到如下的式子，求和号代表是对窗口内的每一个像素点求和。        

                         

上式即是L-K方法求解光流估计问题的方程。