摘 要
本文研究了本次大赛D题的5个问题。包括静态和动态背景下前景目标检测与提取、存在摄像机抖动情况下前景目标检测与提取、应用以上建立的三种模型对各种视频文件进行显著帧号提取以及多摄像机协同的目标检测与提取。通过建立这几种重要的前景目标检测与提取的模型来节约我们在大量数据中找到有用信息所要消耗的人力和时间，使我们的生活更加智能便捷。
第一问中我们研究了静态背景下前景目标的检测与提取。随着“平安城市”建设的顺利开展，中国各省市县乡的摄像头数目呈现井喷式增长，大量企业、部门甚至实现了监控视频的全方位覆盖，如何有效、快速抽取出监控视频中的前景目标信息，是其中非常重要而基础的问题。因此，在静态背景下我们提出改进型混合高斯模型，该模型能有效地提取前景目标且可以对图片背景进行自动更新。
第二问中我们在考虑到实际生活中视频背景多数是动态的情况后，继而研究了动态背景下前景目标的检测与提取。一般情况下，动态背景下灰度值在随时间变化波动相对于静止场景的灰度值波动要大，所以我们提出多帧初始化改进算法。该算法是对原始算法（ViBe）的模型初始化以及更新进行了改进。利用多帧图像像素本身和邻域点特征值的随时间的统计特征值进行模型初始化，使模型初始化后具有更多的时间特征信息和空间特征信息。同时，根据闪烁点的特点，前后两帧连续图像之间也有依附关系，利用这种关系改进更新方式，即当像素点检测为前景点时，对其前一帧对应状态进行对比，为模型更新提供更多可能性，进而提高算法在存在晃动点场景的应用。仿真结果显示，该模型能够很好地适用于动态背景，该模型可靠且稳定。
第三问是在建立的静态背景和动态背景的两种数学模型不适用于摄像机抖动情况下，给出了独立的适合于摄像机抖动情况下前景目标的检测与提取模型。在此问中，我们首先明确了摄像机抖动会导致视频中包括背景的所有像素点都产生了光流，然后本文引入了仿射变化理论来处理所有像素点，从而对由于摄像头运动而产生的光流影响进行运动补偿，将背景转换为相对静止的背景。最后利用静态背景下前景目标提取的模型实现了在摄像机抖动情况下目标的检测与提取。
第四问是在前三问的基础上，应用已经建立好的数学模型对视频进行了重要帧的帧号提取操作。
第五问则涉及到了多摄像机协同情况，我们利用不同角度视频的前景之间相关性信息尝试创建适合于多摄像机协同的目标检测与提取的数学模型。
关键词：灰度值 前景目标提取 混合高斯模型 ViBe算法 多帧初始化改进 光流 仿射变换 仿真法
一、问题重述
1.1 问题背景
视频监控是中国安防产业中最为重要的信息获取手段。随着“平安城市”建设的顺利开展，各地普遍安装监控摄像头，利用大范围监控视频的信息，应对安防等领域存在的问题。近年来，中国各省市县乡的摄像头数目呈现井喷式增长，大量企业、部门甚至实现了监控视频的全方位覆盖。如北京、上海、杭州监控摄像头分布密度约分别为71、158、130个/平方公里，摄像头数量分别达到115万、100万、40万，为我们提供了丰富、海量的监控视频信息。
目前，监控视频信息的自动处理与预测在信息科学、计算机视觉、机器学习、模式识别等多个领域中受到极大的关注。而如何有效、快速抽取出监控视频中的前景目标信息，是其中非常重要而基础的问题。这一问题的难度在于，需要有效分离出移动前景目标的视频往往具有复杂、多变、动态的背景。这一技术往往能够对一般的视频处理任务提供有效的辅助。以筛选与跟踪夜晚时罪犯这一应用为例：若能够预先提取视频前景目标，判断出哪些视频并未包含移动前景目标，并事先从公安人员的辨识范围中排除；而对于剩下包含了移动目标的视频，只需辨识排除了背景干扰的纯粹前景，对比度显著，肉眼更易辨识。因此，这一技术已被广泛应用于视频目标追踪，城市交通检测，长时场景监测，视频动作捕捉，视频压缩等应用中。
1.2 待解决的问题
问题1：
对不包含动态背景、摄像头稳定拍摄时间大约5秒的监控视频，构造提取前景目标（如人、车、动物等）的数学模型，并对该模型设计有效的求解方法。
问题2：
对包含动态背景信息的监控视频，设计有效的前景目标提取方案。例如在树叶摇动、水波动、喷泉变化和窗帘晃动等动态背景下分离出前景目标。
问题3：
在监控视频中，由于监控摄像头发生晃动或偏移，视频会发生短暂的抖动现象（该类视频变换在短时间内可近似视为一种线性仿射变换，如旋转、平移、尺度变化等）。针对视频中存在的上述问题，构造有效的数学模型并设计合理的前景目标提取方案。
问题4：
随着社会治安要求的不断提高，监控视频得到广泛的应用随之产生大量的冗余数据，在冗余数据中快速检索出重要的视频帧变得尤为重要。构造合理的数学模型，从每组视频中选出包含显著前景目标的视频帧标号。
问题5：
尝试利用多个角度视频的前景目标之间相关性信息构建有效的数学模型并进行求解，从而实现从不同角度同时拍摄的近似同一地点的多个监控视频中前景目标的有效检测和提取。
二、符号说明与名词解释
2.1 符号说明
| 符号 |
含义 |
| 时刻，某特定像素点像素值 |
|
| 时刻第个高斯模型分量的权重 |
|
| 高斯概率密度函数 |
|
| 时刻第个高斯模型分量的均值 |
|
| 时刻第个高斯模型分量的方差 |
|
| 偏差系数 |
|
| 模型参数学习率 |
|
| 模型分量权重学习率 |
|
| 0时刻其第个高斯分布与像素的匹配总次数 |
|
| 置信度 |
|
| 当前核心点的初始响应 |
|
| 前一帧的特征点 |
|
| 当前这一帧的特征点 |
|
| 帧图像的像素平均值 |
|
| 连续帧像素值与的差值的平均值 |
|
| 过滤掉变化较大的像素点时设置的阈值 |
|
| 前景目标检测的初始背景 |
2.2 名词解释
GMM：混合高斯模型算法（Mixed Gaussian Model Algorithm）
LMS：最小均方算法（Least mean square algorithm）
ViBe：非参数化的背景建模的运动目标检测算法（Visual Background Extractor）
三、模型的建立与求解
3.1 静态背景下前景目标提取
3.1.1 问题分析
在静态背景下前景目标提取的过程中，视频流的采集一般采用移动摄像的视频图像，对出现在其中的运动目标进行检测及融合，包含运动目标区域的二值图像被称为前景图像。前景提取的任务是将视频场景中运动的、人们所关心的物体与精致的背景分离，从而得到目标物体的位置和形状大小信息。目前对视频中的运动前景提取的算法在提取结果的质量上还是有许多不足，提取的目标往往边界比较粗糙，同时结果受周围环境影响比较大，出现漏检或误检的现象比较严重，这些问题都给前景目标结果精度上造成了影响；而面对越来越大的清晰度的监控视频，目前的算法的时间效率上也存在一定的问题，降低了整个算法的实时性。针对前景目标遇到的上述问题，本文提出基于混合高斯模型的改进型提取前景目标算法。
3.1.2 模型建立
在静止成像平台下，背景建模时运动目标检测最常用的方法。背景相减法的核心在于生成一副场景的参考图像，并能自动更新。针对问题1中的静态背景前景目标的提取策略，本文采用基于混合高斯背景建模的基本原理而进行改进的混合高斯模型算法。
混合高斯模型算法(GMM)对场景中每个像素点值的分布维护了一个概率密度函数，将场景中每个特定的像素点的值用若干个(一般取3~5个)高斯分布区拟合，每个高斯分布具有自己的权重，因此它能处理多模态背景分布的情况。另一方面，混合高斯模型是参数化的，模型的参数会自适应更新，而且不用缓存过去的视频帧。在算法处理的过程中，随着新图像的到来，我们去更新每个像素点各个高斯分布的权重、均值和方差。
原有的高斯模型能够适应室外场景光照的缓慢变化，在运动目标检测领域取得了成功，但也存在一些不足。如果场景变化很快，混合高斯模型就不能及时地适应当前背景特征，算法将会将大量的背景区域误检测为前景，我们需要在模型的稳健性和较快的适应性之间做出折中。针对混合高斯模型的上述不足，也为了获得好的实时系统的性能。
在时刻，某特定像素点像素值为的概率是：
(3-1)
这里代表我们取的分布的个数，现有系统中大都取值为3~5。是在时刻第个高斯模型分量的权重，是高斯概率密度函数：
(3-2)
这里和是时刻第个高斯模型分量的均值和方差。
在线性估计中，每个新到来的像素值与它对应的个高斯分布去匹配。如果在某个分布的(建议取值2.5~3)倍的标准差内，即：
(3-3)
我们认为匹配上了该分布。我们称为偏差系数。对匹配上的模型分量，它的参数按一下等式更新：
当前帧数小于帧时，使用如下一组更新方程：
(3-4)
帧之后，使用另一组更新等式：
(3-5)
这里和分别是模型分量权重学习率和模型参数学习率，由用户定义，本文中。是0时刻其第个高斯分布与像素的匹配总次数，对于匹配上的模型分量取值1，不匹配的取值为0。是一个常量因子，经过对多个场景视频的测试，建议取值30~50能达到较好的检测效果。本文中。
如果当前新到来的像素值和该像素点的任何一个高斯模型分量都未匹配上，我们将以当前观测值为均值，给定一个较大值为初始方差和一个初始较低的权重来构造一个新的模型来替换当前置信度(定义为)最低的模型分量。剩余的模型分量保持原来的举止方差不变，当它们的权重按以下等式衰减：
(3-6)
为了确定是否为前景运动像素，我们先按照置信度()对该像素点的个高斯模型分量进行排序，排序靠前的分量有较低的方差和较高的权重，它们能很好的反应背景特性。我们选取前面的B个分布作为背景模型，B的取值满足一下准则：
(3-7)
是背景的度量比例阈值，根据场景情况具体调整，一般取值0.7左右，本算法中。判断准则：
则为背景像素，否则判为运动像素。
总结改进型混合高斯模型算法如下：
(1) 模型初始化：匹配次数、权重初始化为1；剩余模型均值、匹配次数、权重初始化为0。
(2) 模型更新：新到来的，与其个高斯模型分布区匹配。
(3) 个模型分量权重正规化，即保证满足。
(4) 前景检测：根据判断准则确定背景像素及运动像素。
为了对经过改进型高斯混合模型的提取前景目标进行改善运动目标检测性能，在之后进行阴影消除算法。设经过混合高斯模型的参考背景像素点为，其值及归一化的值分别为()和()，收到的当前帧图像在点处的像素值和归一化像素值分别为()和()。对阴影像素点，它只是在亮度上有所降低，但色度基本保持不变，于是有如下两组等式：
(3-8)
(3-9)
利用这两组等式的原理，我们可以灵活选择合适的度量策略来对前景检测得到的运动区域像素进一步判别是否是阴影。如果同时满足以下两式条件：
(3-10)
(3-11)
则认为该“运动”像素为运动目标投影，否则它就属于真实的运动目标，其中和为判定门限，由当前阴影检测原理，本文中，
通过以上包含改进型混合高斯模型和阴影抑制模型相结合的静态背景运动前景目标提取数学模型，可以有效的对静态背景中的运动模型进行提取。
3.1.3 模型验证
下面是对两种不同的静态背景的动态前景目标进行提取的模型验证过程。
场景1：拍摄于办公室的人员走动，图3-1为该视频中第48帧，第一张图为视频48帧原图，第二张为混合高斯模型前景目标提取图，第三张为添加阴影抑制算法前景目标提取。
图3-1 场景1对比图
场景2：拍摄于机场流动人员走动视频，图3-1为该视频中第21帧，第一张图为视频21帧原图，第二张为混合高斯模型前景目标提取图，第三张为添加阴影抑制算法前景目标提取。
图3-2 场景2对比图
3.2动态背景下前景目标提取
3.2.1问题分析
在上一问中提出的基于混合高斯改进型的算法是在摄像机固定并且背景静止的情况下可以较好实现前景目标的检测与提取。而在现实生活中，我们遇到的一般是含有水面波动、树枝摇晃等场景，前景目标的检测与提取面临着更大的挑战，灰度值在随时间变化波动相对于静止场景的灰度值波动要大，这也成为了运动目标检测的一个难点。显然在静态背景下建立的数学模型已经不再适用于动态背景下前景目标的检测与提取。针对动态背景下前景目标检测与提取的难点，此部分提出了非参数化的背景建模的新的检测算法即多帧初始化的ViBe改进算法。
3.2.2模型建立
ViBe（Visual Background Extractor）是由 Olivier Barnich 等提出的一种非参数化的背景建模的运动目标检测算法。ViBe 算法用像素点以及其邻域像素点的值进行背景模型估计，通过当前像素值与模型内样本值的对比区分前景和背景。算法同样可以通过三个关键的步骤进行描：背景模型的初始化或建立背景模型；像素点分类，即前景检测；背景模型更新方案。算法流程图如下所示：
图3-3 ViBe算法流程图
ViBe 算法虽可以快速完成初始化，并且具有运算简单，实时性强等特点，但也存在一些缺点，例如当场景中存在树枝晃动或者水面波动等晃动点时，像素特征值较大的波动不能够与背景模型中的样本值匹配，造成错误检测大大增加。而当初始化帧图像中含有运动目标时，也会将其作为背景的一部分进行初始化，从而造成检测过程中出现伪目标。
多帧初始化的改进算法对原始算法的模型初始化以及更新进行了改进。利用多帧图像像素本身和邻域点特征值的随时间的统计特征值进行模型初始化，使模型初始化后具有更多的时间特征信息和空间特征信息。同时，根据闪烁点的特点，前后两帧连续图像之间也有依附关系，利用这种关系改进更新方式，即当像素点检测为前景点时，对其前一帧对应状态进行对比，为模型更新提供更多可能性，进而提高算法在存在晃动点场景的应用，改进算法的流程如图如下所示：
图3-4 多帧初始化的改进算法流程图
多帧初始化改进算法基本流程为：
步骤一：读入视频的数帧图像，将各像素的特征值（如灰度强度值）分区间进行统计，将特征值较集中的两个区域中值作为特征样本值纳入其背景模型，同时取邻域像素较集中的两个区域中值作为特征值纳入初始背景模型。从而完成背景模型的初始化；
步骤二：读入新的视频帧图像，将图像中的像素点特征值与背景模型中样本值进行计算距离。统计距离符合满足阈值要求的样本个数；
步骤三：满足要求样本数达到所需阈值时，停止距离计算，该点被为分为背景点，反之为前景点。
步骤四：当检为背景点时，满足采样要求时，用背景点的特征值对应点及邻域点背景模型进行随机更新。当检为前景点时，首先存储该点为前景点的结果，其次判断前一帧图像中该点是否连续变化。若连续变化，则该点特征值更新到背景模型中，否则不进行更新；
步骤五：存储检测结果，进行下一像素点检测。
3.2.3模型验证
多帧初始化的Vi Be 算法的提出主要为了解决场景中含有是指晃动、水波动
等晃动点的问题。试验中，我们选取了waterSurface数据集进行了多次仿真，视觉分析为随机选择的一组试验结果，定量分析试验数据为100 次仿真的平均值。
waterSurface数据集包含连续的48帧图像，场景为动态背景的湖面，有人通过，图像大小为 128*160。
图3-5 动态背景下前景目标提取
通过matlab对多帧初始化的ViBe算法进行仿真可以看出，该模型可以有效地检测和提取动态背景下前景目标。
3.3 相机抖动下前景目标提取
3.1.1问题分析
在上述两个算法数学建模中，混合高斯模型加阴影消除技术和多帧初始化改进算法分别解决了静态背景和动态背景的运动前景目标检测和提取问题。但在视频获取过程中，相机由于风吹动等原因造成相机抖动，是获得的视频图像序列存在微小的运动，进一步加深了运动前景目标检测和提取的难度，使上述两种算法模型在此条件下均不适用。
由于摄像机的运动将会导致频中包括背景的所有像素点都产生了光流，如果要想对这样的视频图像利用传统的目标检测方法进行目标检测难度是非常大的。若要保证相机抖动等因素不对运动前景目标检测与提取产生影响，首先引入放射变换理论，实现对背景运动的补偿。将动态背景下前景目标检测问题转换为静态背景下的检测问题。
3.1.2 模型建立
动态背景一般是指由于摄像机的运动（例如车载摄像机、无人机航拍等）使得视频图像的背景产生的相对运动情况。在一般摄像机静止的前提下，我们对目标的检测可以使用以上两问题中介绍的改进型混合高斯模型和多帧初始化改进算法。然而上节所讲述的检测方法，在相机抖动背景下均不能很好的检测出运动目标区域。在本问题的模型建立中，我们采用的方法是首先对视频前后两帧的图像进行角点检测和角点特征的提取，然后利用最小均方值算法得到放射变换的最优参数，再对视频背景运动进行补偿这样就会得到一个相对静止的背景，从而把复杂的动态背景转换为了相对静止的背景下的多目标的检测问题，最后我们再利用改进型混合高斯模型算法，对食品中的运动前景目标进行检测与目标提取。如图3-6所示，为该问题模型的流程图。
图3-6 动态背景下多目标的检测算法流程
(1) 角点特征检测
如果图像中的一个点，在图像坐标的两个正交方向上都有明显的导数，这样的点就可以认为是唯一的，这个点就可以用来做下一步的视频跟踪的特点，图像中的这些独一无二的点都可以被称为角点。实际过程中一般定义图像中曲率的极大点，并且位于图像不同亮度区域交界处的点，对目标的边缘特征有决定作用的点成为角点。从20世纪70年代第一个角点检测方法提出后，出现大量的角点检测算子。本文我们将采用SUSAN算法，所以以下将结合本文具体研究算法对SUSAN 的角点检测算法进行介绍。
SUSAN 算子的详细步骤如下：
- 首先第一步要在我们选用的视频图像中设置圆形模版，该模版是一个37
像素圆形模版；
- 利用以下两个公式(3-12)和(3-13)来计算出该模版中的非核心点像素与核心点灰度相
似的个数即USAN 区域面积；
(3-12)
(3-13)
- 利用下式来计算个点的初始特征响应值，响应值大于某个特定门限阈
值的点就被认为是初始角点。
(3-14)
- 最后一个步骤，我们采用的是抑制非最大值的方法来增强特征，在点
的领域7*7的附近像素范围区域中进行寻找，此时我们可以找到初始响应最大值，如果当前核心点的初始响应为那么认为当前点为角点。其中邻域的大小选择主要取决于图像的噪声，一般而言大的邻域可以更好的抑制噪声，但是同时也会错过一些特征。
SUSAN 算法在信噪比较高时检测角点的效果比较好，该算法本身运算量比较
小不需要求导和梯度，不依赖于图像前期的分割结果，而且具备积分特性，定位比较准确并能检测不同类型的角点等优点；但是SUSAN 算法也有一定的不足，稳定性不好，主要是太过于依赖阈值，如果的选择过大或者过小都可能直接影响角点的检测错误。
(2) 角点特征匹配
在检测出图像中的角点之后，需要对视频的前后两帧之间的角点进行匹配，现在匹配算法主要有视差的梯度约束法、深度信息约束法和几何约束法。
使用最广泛的就是几何约束的精匹配算法。这里我们采用的是变邻域逆向匹配检测方法。
在一般角点粗略匹配中，常常会出现一个特征角点匹配多个特征角点的情况。这里采用基于角点特征邻域的一种区域相关算法，首先经过SUSAN 算法对视频的前后两帧图像分别求出它们的角点特征集，分别表述为和，其中和分别表示为第帧和第帧的图像的角点特征集合，若其，则需要删除第帧中多余的匹配点，使得最终即第帧和第帧中角点特征的个数相同。
变邻域逆向匹配算法思想是：假设第帧中的点其领域半径为，对应第帧的和点对应的邻域半径分别为和，其中为正确的匹配点而是错误的匹配点。以这3个点为中心，并且（）的领域，利用(3-15)公式分别计算出点与点和点与点的相关系数，分别计作和。
(3-15)
其中和分别表示这两个点的邻域内的灰度值。
于是得到如下式子：
(3-16)
如果计算得到的大于给定的阈值，相关系数大的角点就是第帧角点的正确的匹配点。如果，则取，重复上面的计算过程，若仍然小于，则认为该点没有得到匹配计算结束。
通过匹配算法得到第帧和第帧的一一对应角点匹配对，为下一步目标检测做预处理。
(3) 仿射变换
针对动态背景下的多目标检测，由于摄像机的运动将会导致视频中包括背景的所有像素点都产生了光流，如果要想对这样的视频图像利用传统的目标检测方法进行目标检测难度是非常大的。本文引入了仿射变化理论(affine transformation)来处理所有像素点，从而对由于摄像头运动而产生的光流影响进行运动补偿，最后对处理后的图像进行问题1中所讲改进混合高斯模型等一系列的操作进行最终的目标检测。
仿射变换的几何意义是当一个平面的图形经过某个向量的移动映射到另外一个平面上，得到的图形仍然具备原图的一般性质，并且可以经过一系列的变换转换为原图形，这样的变换称为仿射变换。仿射变化在二维空间里可以利用代数的表达为：
(3-17)
其中为前一帧的特征点，为当前这一帧的特征点。其中表示的是仿射变换的6个参数。理论上讲只要得到3对特征匹配点就可以计算得出公式(3-17)中的 6 个参数。如何取这三对点将直接影响着仿射变换参数的精度。为了尽量的减少这样的估计误差，我们可以将角点特征点对采用最小二乘法来寻找到最符合的 3 对匹配点。但是，由于这里利用最小二乘法将会有很大开销，从而会影响了目标检测和跟踪的实时性效果，所以为了减少估计时间和估计误差，本文利用最小均方算法(least median square 简称为： LMS)，该方法是一种稳健回归方法。
本文用到的LMS算法的详细步骤如下：
①根据SUSAN角点检测得到第帧和第帧的所有的匹配的角点特征点这里记作对点，然后再从这对点中随机选取个3对的匹配角点，这里，设为第种仿射变换，这里。
②由上一步得到的，并将所有的第帧特征角点，代入公式(3-17)，通过仿射变换公式得出第帧的特征点的位置。这里会出现仿射变换误差，并定义仿射误差为：，其中，为第帧特征点位置，为第帧特征点位置。为了得到最佳变换这里取时，得到第个 3 对匹配的，并把所得到的仿射变换作为全局运动模型参数。
3.1.3模型验证
上述数学模型主要是为了解决带有动态背景如视频抖动、复杂动态背景的运动前景目标的检测与提取问题，该部分对上述模型进行检验分析，我们对带有视频抖动的输入视频input进行了多次的仿真实验，分别对角点检测与匹配和经过放射变换后通过改进混合高斯模型的前景目标提取三部分进行仿真数据展示，如下图所示，分别对视频中的第14帧、23帧、29帧三组数据进行展示。其中每组仿真图形中的第一组图片为14帧、23帧、29帧的当前帧和下一帧的原始图形与角点检测图形的展示，第二组为对应当前帧与下一帧的角点检测图和相对应的角点匹配图，第三组图片为当前帧图与其对应的运动前景目标提取图。
图3-7 第14帧动态背景模型仿真图
图3-8 第29帧动态背景模型仿真图
图3-9 第29帧动态背景模型仿真图
3.4 显著前景目标的帧号检测
3.4.1问题分析
随着社会治安要求的不断提高，监控视频得到广泛的应用随之产生大量的冗余数据，在冗余数据中快速检索出重要的视频帧变得尤为重要。
视频的关键帧提取即用有限数量的静态图像来代表原始视频序列的主要内容，该主要内容为用户需要重点关注的视频内容，也可以理解为视频内容前后发生明显变化的部分。一般的视频关键帧具有以下几个特点：
（1）监控视频的关键帧需要能反映出视频序列的原始内容；
（2）一段监控视频的关键帧数量是可变的，可以为一帧也可以为多帧；
（3）静态的关键帧图片能够反映视频中目标动态的变化过程或者能够反映运动目标的特征。
目前关键帧提取的难点主要有：
（1）提取特征的选取。在确定视频关键帧的过程中需要使用一定的图像特征，如颜色特征、纹理特征等，不同特征的选取能够造成不同的关键帧提取结果；
（2）提取关键帧的阈值设定。提取关键帧需要使用一定的阈值去判定选取关键帧的数目。若阈值过大则选择的关键帧数目过少，易造成对重要信息的漏检；若阈值太小则选择的关键帧数目过多，冗余量大；
（3）自然原因以及不可测因素等的影响。对于处于室外暴露状态的监控摄像镜头容易受到自然环境的干扰，比如光照的变化以及风力影响镜头颤动等都会影响监控视频的质量。
在前面章节我们了解到监控中运动目标检测的问题主要分为摄像机固定和摄像机运动两种情况。当摄像机运动时，通常使用光流法，该方法通过计算视频帧间的光流场而检测摄像机的运动。本节主要针对摄像机固定不动的情况，考虑到光流法计算的复杂性，很难实现实时监测，且在摄像机固定的情况下背景的变化大部分由于光线变化或者树叶、树枝等随风晃动等微小原因，本节采用改进的混合高斯模型进行背景更新并结合背景差分法进行监控中运动目标检测，得到包含显著前景目标的帧标号以及所对应的分割出的静态二值图像（.jpg）文件。
3.4.2 模型建立
本节采用改进的混合高斯模型进行背景更新并结合背景差分法进行监控中运动目标检测，得到包含显著前景目标的帧标号以及所对应的分割出的二值静态图像。
背景差分法一般分为四个步骤：视频预处理、背景建模、目标检测、后续处理。与其它视觉分析问题一样，需要进行预处理来提高后续的计算精度，将输入的每一视频帧进行滤波去噪、增强、灰度变换等操作。其次，通过背景建模构建背景图像，为后续目标检测作准备，对检测后的图像进行后处理，消除因背景小尺寸像素块的干扰，从真实的运动像素中检测出运动目标。
背景差分法运动目标检测流程图如下：
图3-10 背景差分法运动目标检测流程图
静态背景指在图像中没有运动的物体、相对静止的背景。在人流量较小的监控中，可以通过人工的方法直接采用一帧没有运动对象的图像作为静态背景。但是在某些情况下，监控视频中可能一直存在运动对象，因此找不到没有运动对象的视频帧作为背景。而且在现实场景中，由于光照变化、固定物体的移动以及摄像头的抖动等现象，背景不断发生变化，因此需要相应的方法从视频帧中生成理想的监控背景。
改进型混合高斯模型初始化是在多帧平均法的基础上进行改进，为了防止运动对象的经过使得背景变化较大，设置阈值过滤掉变化较大的像素点。
采用公式(3-18)求帧图像的平均值，公式如下：
(3-18)
计算每一帧与的差值，求连续帧差值之间和的平均值，即为：
(3-19)
(3-20)
根据以上公式求初始背景：
(3-21)
(3-22)
其中，为阈值，参数为经验值，通常取1.0~1.2。为平均值，一般情况下，会有些像素点与平均值的差大于、小鱼、或等于该值，为了不过滤掉正常的背景像素点，通过使用参数进行修正。
背景更新及运动目标检测采用改进型高斯模型，参数设置与前文一致。改进的高斯混合模型使用中即使有新的物体融入到背景中也不会破坏背景模型，其可动态地调整背景适应实时的场景变化。
3.4.3模型验证
本节对试题附件内八组视频分别进行检测包含显著前景目标的视频帧标号的工作，得到以下结果；并以表4中Fountain.avi视频为例，将包含显著前景目标的帧标号所对应的二值静态图像表示出来，其中多帧包含显著前景目标的图像只显示这段视频两端所对应的二值静态图像。
表1 Campus.avi视频包含显著前景目标的视频帧标号
| 视频名称 |
包含显著前景目标的视频帧标号 |
| Campus.avi视频 显著前景目标：车 |
85帧 200帧~229帧 342帧~391帧 600帧 639帧~712帧 999帧~1034帧 1193帧 1264帧 1328帧~1375帧 |
表2 Curtain.avi视频包含显著前景目标的视频帧标号
| 视频名称 |
包含显著前景目标的视频帧标号 |
| Curtain.avi视频 显著前景目标：人 |
967帧 1758帧~1907帧 2126帧 2169帧~2315帧 2768帧~2929帧 |
表3 Escalator.avi视频包含显著前景目标的视频帧标号
| 视频名称 |
包含显著前景目标的视频帧标号 |
| Escalator.avi视频 显著前景目标：人 |
1帧~178帧 210帧~2394帧 2415帧 2539帧 2754帧 2761帧~3417帧 |
表4 Fountain.avi视频包含显著前景目标的视频帧标号
| 视频名称 |
包含显著前景目标的视频帧标号 |
| Fountain.avi视频 显著前景目标：人 |
141帧 153帧~212帧 259帧 335帧 403帧~523帧 |
表5 Hall.avi视频包含显著前景目标的视频帧标号
| 视频名称 |
包含显著前景目标的视频帧标号 |
| Hall.avi视频 显著前景目标：人 |
1帧~511帧 578帧 599帧~750帧 795帧 817帧~1056帧 1138帧 1153帧~1216帧 1246帧 1276帧~1512帧 1544帧~3534帧 |
表6 Lobby.avi视频包含显著前景目标的视频帧标号
| 视频名称 |
包含显著前景目标的视频帧标号 |
| Lobby.avi视频 显著前景目标：人 |
79帧 156帧~196帧 259帧 345帧~394帧 626帧~666帧 870帧 963帧~1035帧 1161帧 1239帧~1283帧 1333帧~1380帧 |
表7 Office.avi视频包含显著前景目标的视频帧标号
| 视频名称 |
包含显著前景目标的视频帧标号 |
| Office.avi视频 显著前景目标：人 |
197帧 372帧 501帧 579帧~2043帧 |
表8 Overpass.avi视频包含显著前景目标的视频帧标号
| 视频名称 |
包含显著前景目标的视频帧标号 |
| Overpass.avi视频 显著前景目标：人 |
553帧~673帧 1551帧 2098帧 2333帧~2967帧 |
图3-11 第141帧所对应的二值静态图像
图3-12 第153帧所对应的二值静态图像
图3-13 第212帧所对应的二值静态图像
图3-14 第259帧所对应的二值静态图像
图3-15 第335帧所对应的二值静态图像
图3-16 第403帧所对应的二值静态图像
图3-17 第473帧所对应的二值静态图像
图3-18 第523帧所对应的二值静态图像
3.5多摄像机协同的目标检测与提取
3.5.1问题分析
本问题中是利用多个角度视频的前景目标之间相关性信息并通过对多个角度视频的信息的相关性进行运动目标提取。多个视频能够从多个角度对目标进行实时监控，相当于是关于监控目标的时间，地点，身份，行为四个问题进行分析。
该过程需要处理四个过程：第一层各相机的目标检测回答了时间和地点的问题，检测室监控的基础，通过像素曾的处理，提取图像中运动前景目标的部分，初步获取目标静态特征；第二部分目标跟踪初步解决了身份的问题，通过对图像序列中目标的关联和跟踪滤波，获取目标的方位、速度、加速度等动态特征；第三部分多摄像机协同，将多个摄像机检测跟踪得到的前景目标特征进行融合，统一得到一个共同的坐标系；第四本分目标识别和行为分析理解没进一步回答链路身份和行为的问题。
3.5.2 模型建立
如图3-19所示，为多摄像机系统监控系统示意图。
该部分的模型建设的考虑关键问题为：
(1) 匹配问题，如何利用对极约束关系建立不同摄像机中目标观测之间的对应关系？
(2) 定位问题，如何根据不同摄像机中目标的图像确定目标在统一坐标系（本文中指虚拟顶视图）中的方位？
(3) 标识问题，目标跟踪轨迹产生后，如何确定产生该轨迹的目标的身份（标识 ID）？
图3-19 多摄像机智能监控系统结构示意图
四、结论与分析
五、参考文献
[1] Andrews Sobral & Antoine Vacavant, A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos, Computer Vision and Image Understanding, Volume 122, May 2014, Pages 4-21
[2] B. Lee and M. Hedley, “Background estimation for video surveillance,” IVCNZ02, pp. 315–320, 2002
[3] 朱松立,戴礼荣等.基于角点特征值和枧差梯度约束的角点匹配[J].计算工程与应用, 2004(34): 62-64.
[4] 郑世友.动态场景图像序列中运动目标检测与跟踪：[博士学位论文].南京：东南大学, 2006
[5]
附录