帧差法、光流法、背景减除法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_22562949/article/details/46363049

运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运动背景两类。大多数视频监控系统是摄像头固定的，因此静态背景下运动目标检测算法受到广泛关注，常用的方法有帧差法、光流法、背景减除法等。
    (l)帧差法
    帧差法是最为常用的运动目标检测和分割方法之一，基本原理就是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阂值时，可以认为此处为背景像素:如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快、算法简单、计算量小。算法的不足在于对环境噪声较为敏感，闽值的选择相当关键，选择过低不足以抑制图像中的噪声，过高则忽略了图像中有用的变化。对于比较大的、颜色一致的运动目标，有可能在目标内部产生空洞，无法完整地提取运动目标。
    (2)光流法
    光流法的主要任务就是计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。通常有基于全局光流场和特征点光流场两种方法。最经典的全局光流场计算方法是L-K(Lueas&Kanada)法和H-S(Hom&Schunck)法，得到全局光流场后通过比较运动目标与背景之间的运动差异对运动目标进行光流分割，缺点是计算量大。特征点光流法通过特征匹配求特征点处的流速，具有计算量小、快速灵活的特点，但稀疏的光流场很难精确地提取运动目标的形状。总的来说，光流法不需要预先知道场景的任何信息，就能够检测到运动对象，可处理背景运动的情况，但噪声、多光源、阴影和遮挡等因素会对光流场分布的计算结果造成严重影响;而且光流法计算复杂，很难实现实时处理。
    (3)背景减除法

    背景减除法是一种有效的运动对象检测算法，基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。背景减除法必须要有背景图像，并且背景图像必须是随着光照或外部环境的变化而实时更新的，因此背景减除法的关键是背景建模及其更新。针对如何建立对于不同场景的动态变化均具有自适应性的背景模型，减少动态场景变化对运动分割的影响，研究人员已提出了许多背景建模算法，但总的来讲可以概括为非回归递推和回归递推两类。非回归背景建模算法是动态的利用从某一时刻开始到当前一段时间内存储的新近观测数据作为样本来进行背景建模。非回归背景建模方法有最简单的帧间差分、中值滤波方法、Toyama等利用缓存的样本像素来估计背景模型的线性滤波器、Elg~al等提出的利用一段时间的历史数据来计算背景像素密度的非参数模型等。回归算法在背景估计中无需维持保存背景估计帧的缓冲区，它们是通过回归的方式基于输入的每一帧图像来更新某个时刻的背景模型。这类方法包括广泛应用的线性卡尔曼滤波法、Stauffe:与Grimson提出的混合高斯模型等。

以下是下面方法的代码实现，opencv2.3+vs2010

(1)帧差法的实现
  #include <opencv2/highgui/highgui.hpp>
 #include <opencv2/imgproc/imgproc.hpp>
 #include <opencv2/core/core.hpp>
  #define threshold_diff 20 //设置简单帧差法阈值
 using namespace cv;
 using namespace std;
 int main(int argc,unsigned char* argv[])
 {
     Mat img_src1,img_src2,gray1,gray2,gray_diff;
     bool pause=false;
     VideoCapture vido_file("E:\\新建文件夹\\行车视频.avi");//在这里改相应的文件名
     namedWindow("foreground",0);
     for (;;)
     {
         if(!pause)
        {
             vido_file >>img_src1;        //因为视频文件帧数已经固定了，所以每次到这句语句都是读取相邻的帧数，没到时间视频并不向前走
             cvtColor(img_src1,gray1,CV_BGR2GRAY);
             imshow("video_src",img_src1);//可以事先不用新建一个窗口
             waitKey(5);
 
             vido_file >>img_src2;
             cvtColor(img_src2,gray2,CV_BGR2GRAY);
             imshow("video_src",img_src2);//可以事先不用新建一个窗口
             waitKey(5);        
 subtract(gray1,gray2,gray_diff);
             for(int i=0;i<gray_diff.rows;i++)                
for(int j=0;j<gray_diff.cols;j++)
                    if(abs(gray_diff.at<unsigned char>(i,j))>=threshold_diff)//这里模板参数一定要用unsigned char，否则就一直报错9                       
gray_diff.at<unsigned char>(i,j)=255;
                   else
      gray_diff.at<unsigned char>(i,j)=0;
             imshow("foreground",gray_diff);
         }
         char c=(char)waitKey(10);
         if (c==27)
         {
             break;    
         }
       //  if(c==' ')
            // pause=!pause;
     }
    return 0;
 }
（2）三帧差法
/*
  #include <opencv2/highgui/highgui.hpp>
  #include <opencv2/imgproc/imgproc.hpp>
  #include <opencv2/core/core.hpp>
  #define threshold_diff1 10 //设置简单帧差法阈值
 #define threshold_diff2 10 //设置简单帧差法阈值
 using namespace cv;
 using namespace std;
 int main(int argc,unsigned char* argv[])
 {
    Mat img_src1,img_src2,img_src3;//3帧法需要3帧图片
    Mat img_dst,gray1,gray2,gray3;    
Mat gray_diff1,gray_diff2;//存储2次相减的图片
     Mat gray;//用来显示前景的
     bool pause=false;
     VideoCapture vido_file("E:\\新建文件夹\\行车视频.avi");//在这里改相应的文件名
     namedWindow("foreground",0);
     for (;;)
    {
         if(!false)
        {
             vido_file >>img_src1;
            cvtColor(img_src1,gray1,CV_BGR2GRAY);
imshow("video_src",img_src1);//可以事先不用新建一个窗口
             waitKey(5);
             vido_file >>img_src2;
 cvtColor(img_src2,gray2,CV_BGR2GRAY);
             imshow("video_src",img_src2);
              waitKey(5);


            vido_file >>img_src3;
             cvtColor(img_src3,gray3,CV_BGR2GRAY);
 imshow("video_src",img_src3);//可以事先不用新建一个窗口
             waitKey(5);
            subtract(gray2,gray1,gray_diff1);//第二帧减第一帧
             subtract(gray3,gray2,gray_diff2);//第三帧减第二帧
             for(int i=0;i<gray_diff1.rows;i++)
                for(int j=0;j<gray_diff1.cols;j++)
                 {
                    if(abs(gray_diff1.at<unsigned char>(i,j))>=threshold_diff1)//这里模板参数一定要用unsigned char，否则就一直报错
                        gray_diff1.at<unsigned char>(i,j)=255;            //第一次相减阈值处理
                    else gray_diff1.at<unsigned char>(i,j)=0;
 
                     if(abs(gray_diff2.at<unsigned char>(i,j))>=threshold_diff2)//第二次相减阈值处理
                         gray_diff2.at<unsigned char>(i,j)=255;
                    else gray_diff2.at<unsigned char>(i,j)=0;
                }
             bitwise_and(gray_diff1,gray_diff2,gray);//按位 AND 运算
             imshow("foreground",gray);
         }
         char c=(char)waitKey(10);
         if (c==27)
         {
             break;    
         }
        if(c==' ')
            pause=!pause;//为什么暂停不了？？
     }
     return 0;
 }

*/

(3)背景减除法的实现

//背景减除法
 /*
#include <cv.h>  
#include <cxcore.h>  
#include <highgui.h>  


//CAM定义用摄像头获得视频else文件
//#define CAM   
  
  
int main( int argc, char** argv )  
{  
    //声明IplImage指针  
    IplImage* pFrame = NULL; //原始视频帧  
    IplImage* pFrImg = NULL; //提取的前景图像，即运动目标  
    IplImage* pBkImg = NULL; //背景图像 
  
    CvMat* pFrameMat = NULL; //原始视频矩阵 
    CvMat* pFrMat = NULL;    //前景矩阵
    CvMat* pBkMat = NULL;    //背景矩阵
  
    CvCapture* pCapture = NULL;  
    //帧数
    int nFrmNum = 0;  
  
    //创建窗口  
    cvNamedWindow("video", 1);  
    cvNamedWindow("background",1);  
    cvNamedWindow("foreground",1);  
    //使窗口有序排列  
    cvMoveWindow("video", 30, 0);  
    cvMoveWindow("background", 360, 0);  
    cvMoveWindow("foreground", 690, 0);  
  
#ifdef CAM
    if( !(pCapture = cvCaptureFromCAM(0)))  
    {  
        //pCapture = cvCaptureFromCAM(-1))  
        fprintf(stderr, "Can not open CAM .\n");  
        return -2;  
    }  
#else
char *filename="E:\\新建文件夹\\行车视频.avi";
if( !(pCapture = cvCaptureFromAVI("E:\\新建文件夹\\行车视频.avi")))  
    {  
        //pCapture = cvCaptureFromCAM(-1))  
        fprintf(stderr, "Can not open file %s.\n","E:\\新建文件夹\\行车视频.avi");  
        return -2;  
    }    
#endif
//逐帧读取视频  
    while(pFrame = cvQueryFrame( pCapture ))  
    {  
        nFrmNum++;  
  
        //如果是第一帧，需要申请内存，并初始化  
        if(nFrmNum == 1)  
        {  
            pBkImg = cvCreateImage(cvSize(pFrame->width, pFrame->height),  IPL_DEPTH_8U,1);  
            pFrImg = cvCreateImage(cvSize(pFrame->width, pFrame->height),  IPL_DEPTH_8U,1);  
  
            pBkMat = cvCreateMat(pFrame->height, pFrame->width, CV_32FC1);  
            pFrMat = cvCreateMat(pFrame->height, pFrame->width, CV_32FC1);  
            pFrameMat = cvCreateMat(pFrame->height, pFrame->width, CV_32FC1);  
  
            //转化成单通道图像再处理  
            cvCvtColor(pFrame, pBkImg, CV_BGR2GRAY); //第一帧作为背景了 
            //cvCvtColor(pFrame, pFrImg, CV_BGR2GRAY); // 
//转换成矩阵
            cvConvert(pBkImg, pFrameMat);  //虽然没用，相当于给矩阵赋了初值
            cvConvert(pBkImg, pFrMat);   //虽然没用，相当于给矩阵赋了初值
            cvConvert(pBkImg, pBkMat);  
        }  
        else  
        {  
            cvCvtColor(pFrame, pFrImg, CV_BGR2GRAY);  
            cvConvert(pFrImg, pFrameMat);  
            //高斯滤波先，以平滑图像  
            //cvSmooth(pFrameMat, pFrameMat, CV_GAUSSIAN, 3, 0, 0);  
  
            //当前帧跟背景图相减 计算两个数组差的绝对值 
            cvAbsDiff(pFrameMat, pBkMat, pFrMat);  
  
            //二值化前景图  
            cvThreshold(pFrMat, pFrImg, 60, 255.0, CV_THRESH_BINARY);  

            //进行形态学滤波，去掉噪音    
            //cvErode(pFrImg, pFrImg, 0, 1);  
            //cvDilate(pFrImg, pFrImg, 0, 1);  
  
            //更新背景  
            cvRunningAvg(pFrameMat, pBkMat, 0.003, 0);  
            //将背景转化为图像格式，用以显示  
            cvConvert(pBkMat, pBkImg);  

            //显示图像  
            cvShowImage("video", pFrame);  
            cvShowImage("background", pBkImg);  
            cvShowImage("foreground", pFrImg);  
  
            //如果有按键事件，则跳出循环  
            //此等待也为cvShowImage函数提供时间完成显示  
            //等待时间可以根据CPU速度调整  
            if( cvWaitKey(20) >= 0 )  
            {  
                break;  
            }  
        }  
    }  
    cvWaitKey();  
  
    //销毁窗口  
    cvDestroyWindow("video");  
    cvDestroyWindow("background");  
    cvDestroyWindow("foreground");  
  
    //释放图像和矩阵  
    cvReleaseImage(&pFrImg);  
    cvReleaseImage(&pBkImg);  
  
    cvReleaseMat(&pFrameMat);  
    cvReleaseMat(&pFrMat);  
    cvReleaseMat(&pBkMat);  
  
    cvReleaseCapture(&pCapture);  
  
    return 0;  
}  
*/