cv2实现视频跟踪

本篇博客主要介绍cv2中的视频分析Camshift和Meanshift。

首先是Meanshift,Meanshift 算法的基本原理是和很简单的。假设我们有一堆点，和一个小的圆形窗口，Meanshift 算法就是不断移动小圆形窗口，直到找到圆形区域内最大灰度密度处为止。

示例代码：

# encoding:utf-8
import cv2
import numpy as np

cap = cv2.VideoCapture('../data/slow.flv')
# 取出视频的第一帧
ret, frame = cap.read()
# 设置窗口的初始化位置
r, h, c, w = 250, 90, 400, 125
track_window = (c, r, w, h)
# 设置跟踪的ROI（感兴趣区域）
roi = frame[r: r+h, c: c+w]
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# 将低亮度的值忽略掉
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))

roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# 设置终止条件，迭代10次或移动1pt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while True:
    ret, frame = cap.read()
    if ret is True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
        # 使用meanshift获取新的位置
        ret, track_window = cv2.meanShift(dst, track_window, term_crit)

        # 在图片上绘制
        x, y, w, h = track_window
        print(track_window)
        img2 = cv2.rectangle(frame, (x, y), (x + w, y + h), 255, 2)
        cv2.imshow('img2', img2)
        k = cv2.waitKey(60)  # & 0xff
        if k == 27:
            break
    else:
        break
cv2.destroyAllWindows()
cap.release()

结果图像：

然后是Camshift，连续的自适应MeanShift算法，是对MeanShift算法的改进算法，可以在跟踪的过程中随着目标大小的变化实时调整搜索窗口大小，对于视频序列中的每一帧还是采用MeanShift来寻找最优迭代结果，至于如何实现自动调整窗口大小的，可以查到的论述较少，我的理解是通过对MeanShift算法中零阶矩的判断实现的。

示例代码：

# encoding:utf-8
import numpy as np
import cv2

cap = cv2.VideoCapture('../data/slow.flv')
# 获取视频第一帧
ret, frame = cap.read()
# 设置初始化窗口
r, h, c, w = 250, 90, 400, 125
track_window = (c, r, w, h)
# 设置跟踪的ROI区域
roi = frame[r: r + h, c: c + w]
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
mask  = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)
# 设置终止条件，迭代10次或移动1pt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while True:
    ret, frame = cap.read()
    if ret is True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
        # 使用meanShift获得新位置
        ret, track_window = cv2.CamShift(dst, track_window, term_crit)

        pts = cv2.boxPoints(ret)
        pts = np.int0(pts)
        print('len pts:', len(pts), pts)
        img2 = cv2.polylines(frame, [pts], True,(255, 0, 0), 2)
        cv2.imshow('img2', img2)
        k = cv2.waitKey(1)  # & 0xff
        if k == 27:
            break
    else:
        break
cv2.destroyAllWindows()
cap.release()

结果图像：