运动图像跟踪问题分为目标检测与目标跟踪两部分
一、目标检测
目标检测即为从序列图像中将变化区域从背景图像中提取出来，依照目标与相机之间的关系可以分为静态背景下运动检测与动态背景下运动检测。
1、静态背景
指的是相机在监视过程中不发生移动，检测目标在相机视场内运动，只有目标相对于相机的运动。
●背景差分法：利用当前图像与背景图像的差分来检测运动区域。
思想：先获得一个背景模型，将当前帧与背景模型相减，如果像素差值大于某一阈值，则判断此像素为运动目标，否则属于背景图像。
●帧间差分法：通过相邻两帧图像的差值计算，来获得运动目标轮廓。
当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。
●光流法：空间中运动可以用运动场描述，图像平面上物体运动通过图像序列中图像灰度分布来体现，从而空间中运动场转移到图像上就表示为光流场。图像上的点与三维物体上的点一一对应，这种对应关系可以通过投影来计算得到。光流场反映了图像上没一点灰度的变化趋势，可看成带灰度的像素点在图像平面运动产生的“”瞬时速度场“”，也是对真实运动场的近似估计。
思想：如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。
2、动态背景
指的是相机在监视过程中发生移动（平移、旋转、多自由度运动），产生了目标与相机之间复杂的相对运动。
由于背景及前景图像都在做全局运动，首先应该进行图像的全局运动估计与补偿。由于遵循相同的运动模型，可以用同一模型参数表示。
●块匹配法：将图像分割成不同的图像块，假定同一图像小块上的运动矢量相同，通过像素域搜索得到最佳运动矢量估计。
关键技术：匹配法则（最大相关、最小误差）、搜索方法（三步搜索法、交叉搜索法）、块大小的确定（分级、自适应）
●光流估计法：对帧图像建立光流场模型后，用光流场方法求解图像像素点运动速度。
二、特征跟踪
在序列图像中每幅图像中实时找到感兴趣的运动目标。一类为不依赖于先验知识，直接从图像序列中检测运动目标；另一类为以来目标先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。
1、运动目标有效表达
包括视觉特征（图像边缘、轮廓、形状、纹理、区域）、统计特征（直方图）、变换系数特征（傅里叶、自回归模型）、代数特征（图像矩阵的奇异值分解）
2、相似性度量算法
相似性度量算法与帧图像进行匹配，实现目标跟踪。常见有欧氏距离、棋盘距离、加权距离等
3、搜索算法
预测运动物体下一帧可能出现位置，在相关区域内寻找最优点。KF、EKF、粒子滤波。卡尔曼滤波器是对一个动态系统状态序列进行线性最小方差估计的算法，基于以前的状态序列对下一个状态做最优估计。
另一类减小搜索范围的算法是优化搜索方向。利用无参估计的方法优化目标模板与候选目标距离的迭代收敛过程，以达到缩小搜索范围的目的。
Meanshift（均值漂移算法）：利用梯度优化方法实现快速目标定位，适用于非线性运动目标的跟踪、对目标变形、旋转有较好适用性。缺点：没有利用目标在空间中运动方向和运动速度信息，遮挡时丢失目标。
Camshift（连续自适应均值漂移算法）：在meanshift基础上结合目标色彩信息。由于目标图像直方图记录的是颜色出现的概率，这种方法不受目标形状变化的影响，但开始前需要人工置指定跟踪目标。
思想：对视频序列的所有图像帧都作MeanShift运算，并将上一帧的结果（即搜索窗口的中心位置和窗口大小）作为下一帧MeanShift算法的搜索窗口的初始值，如此迭代下去。简单点说，meanShift是针对单张图片寻找最优迭代结果，而camShift则是针对视频序列来处理，并对该序列中的每一帧图片都调用meanShift来寻找最优迭代结果。正是由于camShift针对一个视频序列进行处理，从而保证其可以不断调整窗口的大小，如此一来，当目标的大小发生变化的时候，该算法就可以自适应地调整目标区域继续跟踪。
4、目标跟踪分类
依据运动目标的表达和相似性度量,运动目标跟踪算法可以分为四类:基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪。跟踪算法的精度和鲁棒性很大程度上取决于对运动目标的表达和相似性度量的定义,跟踪算法的实时性取决于匹配搜索策略和滤波预测算法。
●基于特征跟踪：不考虑运动目标的整体特性，假定运动目标可以由唯一的特征集合表达，搜索到相应的特征集合就认为跟踪上了运动目标，只通过目标图像的显著特征跟踪。
1、特征提取
2、特征匹配：进行帧间目标特征的匹配，并以最优匹配来跟踪目标。常见，基于二值化目标图像匹配、基于边缘特征匹配、角点特征匹配、基于目标灰度特征匹配、基于目标颜色特征匹配。
●基于区域的跟踪
得到包含目标的模板，该模板可通过图像分割获得，模板通常为略大于目标的矩形。
