一、基本背景差分器

三、KNN背景差分器

目前，许多运动检测技术都是基于简单的背景差分概念的，即假设摄像头（视频）的曝光和场景中的光照条件是稳定的，当摄像头捕捉到新的帧时，我们可以从参考图像中减去该帧，并取这个差的绝对值，以获得帧中每个像素位置的运动测量值。如果帧的任何区域与参考图像有很大的不同，我们就认为给定区域中是一个运动物体。

本文主要简单介绍基本背景差分器，详细介绍MOG背景差分器，KNN背景差分器。

一、基本背景差分器

首先，基本背景差分器可以很好地实现运动物体的检测，代码实现参考：

https://github.com/PacktPublishing/Learning-OpenCV-4-Computer-Vision-with-Python-Third-Edition/blob/master/chapter08/basic_motion_detection.py

其特点是：此脚本不会动态更新背景图像，即当一个运动的物体静止后，此脚本仍然会标记此物体，除非此物体消失在窗口中，甚至当摄像头运动或者光线变化时，此脚本会直接标记整个窗口直到程序结束。

如果我们希望脚本能够动态的更新背景模型，即当运动物体静止后，静止物体会被纳入背景，标记会逐渐消失，这时，我们就可以采用更灵活、更智能的背景差分器（如MOG背景差分器、KNN背景差分器）。

二、MOG背景差分器

OpenCV提供了一个名为 cv2.BackgroundSubtractor 的类，它有实现各种背景差分算法的子类。

对于MOG背景差分器，OpenCV有两种实现，分别命名为：cv2.BackgroundSubtractorMOG 和 cv2.BackgroundSubtractorMOG2，后者是最新改进的实现，增加了对阴影检测的支持，我们将使用它。

流程

导入OpenCV，初始化MOG背景差分器，定义erode（腐蚀）、dilate（膨胀）运算的核大小
```
import cv2

bg_subtractor = cv2.createBackgroundSubtractorMOG2(detectShadows=True)

erode_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
dilate_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (7, 7))
```
初始化函数中接收一个参数detectShadows，将其设置为True，就会标记出阴影区域，而不会标记为前景的一部分。
使用腐蚀与膨胀的形态学操作是为了抑制一些细微的振动频率。
捕捉摄像头帧，并使用MOG差分器获得背景掩膜
```
cap = cv2.VideoCapture(0)
success, frame = cap.read()
while success:

    fg_mask = bg_subtractor.apply(frame)
```
当我们把每一帧传递给背景差分器的 apply 方法时，差分器就会更新它的内部背景模型，然后返回一个掩膜。
其中，前景部分的掩膜是白色（255），阴影部分的掩膜是灰色（127），背景部分的掩膜是黑色（0）
然后对掩膜应用阈值来获得纯黑白图像，并通过形态学运算对阈值化图像进行平滑处理。
```
    _, thresh = cv2.threshold(fg_mask, 244, 255, cv2.THRESH_BINARY)
    cv2.erode(thresh, erode_kernel, thresh, iterations=2)
    cv2.dilate(thresh, dilate_kernel, thresh, iterations=2)
```
（本示例中，我们开启了阴影检测，但我们仍然想把阴影认为是背景，所以对掩膜应用一个接近白色（244）的阈值）
现在，如果我们直接查看阈值化后的图像，会发现运动物体呈现白色斑点，我们想找到白色斑点的轮廓，并在其周围绘制轮廓。其中，我们将应用一个基于轮廓面积的阈值，如果轮廓太小，就认为它不是真正的运动物体（或者不使用此阈值），检测轮廓与绘制边框的代码：
```
    contours, hier = cv2.findContours(thresh, cv2.RETR_EXTERNAL,
                                          cv2.CHAIN_APPROX_SIMPLE)

    for c in contours:
        if cv2.contourArea(c) > 1000:
            x, y, w, h = cv2.boundingRect(c)
            cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 255, 0), 2)
```

显示掩膜图像/阈值化图像/检测结果图像，继续读取帧，直到按下ESC退出。

    cv2.imshow('mog', fg_mask)
    cv2.imshow('thresh', thresh)
    cv2.imshow('detection', frame)

    k = cv2.waitKey(30)
    if k == 27:  # Escape
        break

    success, frame = cap.read()

代码编写

import cv2

OPENCV_MAJOR_VERSION = int(cv2.__version__.split('.')[0])

bg_subtractor = cv2.createBackgroundSubtractorMOG2(detectShadows=True)

erode_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
dilate_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (7, 7))

cap = cv2.VideoCapture(0)
success, frame = cap.read()
while success:

    fg_mask = bg_subtractor.apply(frame)

    _, thresh = cv2.threshold(fg_mask, 244, 255, cv2.THRESH_BINARY)
    cv2.erode(thresh, erode_kernel, thresh, iterations=2)
    cv2.dilate(thresh, dilate_kernel, thresh, iterations=2)

    if OPENCV_MAJOR_VERSION >= 4:
        # OpenCV 4 or a later version is being used.
        contours, hier = cv2.findContours(thresh, cv2.RETR_EXTERNAL,
                                          cv2.CHAIN_APPROX_SIMPLE)
    else:
        # OpenCV 3 or an earlier version is being used.
        # cv2.findContours has an extra return value.
        # The extra return value is the thresholded image, which is
        # unchanged, so we can ignore it.
        _, contours, hier = cv2.findContours(thresh, cv2.RETR_EXTERNAL,
                                             cv2.CHAIN_APPROX_SIMPLE)

    for c in contours:
        if cv2.contourArea(c) > 1000:
            x, y, w, h = cv2.boundingRect(c)
            cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 255, 0), 2)


    cv2.imshow('mog', fg_mask)
    cv2.imshow('thresh', thresh)
    cv2.imshow('detection', frame)

    k = cv2.waitKey(30)
    if k == 27:  # Escape
        break

    success, frame = cap.read()

cap.release()
cv2.destroyAllWindows()

注意：当我们启用阴影检测时，我们可以通过一个阈值来移除掩膜上的阴影和反射部分，从而使得检测能够准确地框选到实际运动物体（本示例）。如果我们禁用阴影检测，那么倒影或者反射部分可能都会被框选，从而影响检测真正运动物体的准确性。

三、KNN背景差分器

通过修改MOG背景差分脚本的很一小部分代码，即可使用不同的背景差分算法以及不同的形态学参数。

用cv2.createBackgroundSubtractorKNN替换cv2.createBackgroundSubtractorMOG2，就可以使用基于KNN聚类（而不是MOG聚类）的背景差分器：
```
bg_subtractor = cv2.createBackgroundSubtractorKNN(detectShadows=True)
```
（注意：KNN背景差分器仍然支持detectShadows参数与apply方法）
修改完成之后，就可以使用KNN背景差分器了，可见修改量非常少。
当然，此处我们可以使用稍微好点的适应于水平细长物体的形态学核（本例中检测的是运动的汽车，视频地址（GitHub,可下载）：traffic.flv），并使用此视频作为输入
```
erode_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (7, 5))
dilate_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (17, 11))

cap = cv2.VideoCapture('E:/traffic.flv')
```
最后一个小细节，我们将掩膜窗口标题从“mog”更改为“knn”
```
    cv2.imshow('knn', fg_mask)
```

【参考】OpenCV 4计算机视觉 Python语言实现（原书第三版）作者：Joseph Howse

python+OpenCV笔记（三十七）：检测运动物体——使用MOG/KNN背景差分器

一、基本背景差分器

二、MOG背景差分器

流程

代码编写

三、KNN背景差分器

猜你喜欢