光流 — Optical Flow

光流是环境中物体和照相机发生相对移动，物体投影在图像或者视网膜上的运动轨迹，即像素的移动。我们期望通过分析图像序列中像素变化来计算环境中物体和照相机所发生的相对运动轨迹。

光流有一个前提假设：图像采集的时间间隔很小，因此，图像中某点像素的位置变化范围较小。且该点像素位置变化前后，其像素值保持不变。即：
$I(x,y,t) = I(x+\Delta{x}, y+\Delta{y},t+\Delta{t})$
其中， $\Delta{x}$和 $\Delta{y}$表示像素在 $x$和 $y$轴方向上的位移。 $I(x+\Delta{x}, y+\Delta{y},t+\Delta{t})$在 $(x,y,t)$处的泰勒展开为：
$I(x+\Delta{x}, y+\Delta{y},t+\Delta{t}) = I(x,y,t) + \Delta{x}I_{x} + \Delta{y}I_{y} + \Delta{t}I_{t} + H.O.T$
其中， $I_{x} = \frac{\partial{I}}{\partial{x}}$， $I_{y} = \frac{\partial{I}}{\partial{y}}$， $I_{t} = \frac{\partial{I}}{\partial{t}}$， $H.O.T$表示泰勒级数中的高阶项（ $high order terms$）。结合上两式，可得：
$\Delta{x}I_{x} + \Delta{y}I_{y} + \Delta{t}I_{t} + H.O.T = 0$
在精度要求不高的情况下，可以将上式中的高阶项去掉。左右除以 $\Delta{t}$后，得：
$uI_{x} + vI_{y} + I_{t} = 0$
其中， $u = \frac{\Delta{x}}{\Delta{t}}$， $v = \frac{\Delta{y}}{\Delta{t}}$，分别表示像素在 $x$和 $y$轴方向上的速率。上式中， $u$和 $v$为未知量， $I_{x}$、 $I_{y}$和 $I_{t}$均可由图像序列计算出来（本文末尾会给出）。因此，对于上式单约束却含有两个未知量，我们是无法确切计算出每个像素的光流，即速度 $(u,v)$。为了解决这个问题，我后续会介绍Horn-Schunck光流算法和Lucas-Kanade算法，通过增加约束来计算每个像素的光流 $(u,v)$。

对于 $I_{x}$、 $I_{y}$和 $I_{t}$的计算，可以参考Horn和Schunck在1981年发表的论文 $Determining\ Optical\ Flow$中的计算方法。如下：
$\begin{aligned} I_{x} \approx & \frac{1}{4} \{I_{i,j+1,k} - I_{i,j,k} + I_{i+1,j+1,k} - I_{i+1,j,k} \\ & + I_{i,j+1,k+1} - I_{i,j,k+1} + I_{i+1,j+1,k+1} - I_{i+1,j,k+1}\}, \\ I_{y} \approx & \frac{1}{4} \{I_{i+1,j,k} - I_{i,j,k} + I_{i+1,j+1,k} - I_{i,j+1,k} \\ & + I_{i+1,j,k+1} - I_{i,j,k+1} + I_{i+1,j+1,k+1} - I_{i,j+1,k+1}\}, \\ I_{x} \approx & \frac{1}{4} \{I_{i,j,k+1} - I_{i,j,k} + I_{i+1,j,k+1} - I_{i+1,j,k} \\ & + I_{i,j+1,k+1} - I_{i,j+1,k} + I_{i+1,j+1,k+1} - I_{i+1,j+1,k}\}. \end{aligned}$

其中， $i$、 $j$和 $k$分别表示图像 $y$轴、 $x$轴和时序 $t$的方向，如下图所示。

计算光流，除了文中提到的属于梯度约束范畴的Horn-Schunck光流算法和Lucas-Kanade算法，还有包括相位相关、模版匹配等方法。