使用Python，OpenCV的Meanshift 和 Camshift 算法来查找和跟踪视频中的对象
这篇博客将介绍如何使用 Meanshift 和 Camshift 算法来查找和跟踪视频中的对象。
MeanShift：均移
Camshift（Continuously Adaptive Meanshift）持续自适应性均移
-
cv2.meanShift(): Meanshift 均移总是能找到一个具有最大像素分布的窗口，并且追踪对象；
-
cv2.CamShift(): CAMshift 是 Meanshift的优化，它会持续性的自动调整窗口的大小，并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换，直到达到所需的精度；
1. 效果图
官方示例——Meanshift 均移效果图如下：
官方示例——CAMshift持续自适应均移效果图如下:
可以看到Camshift会自动调整框的大小及旋转，能更好的拟合追踪的对象；
2. 源码
2.1 MeanShift
# 使用MeanShift均移和 CAMshift（Continuously Adaptive Meanshift）持续自适应均移以寻找和追踪对象
# CAMshift 是 MeanShift的优化，它会持续性的自动调整窗口的大小，并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换，直到达到所需的精度；
import numpy as np
import cv2
cap = cv2.VideoCapture('images/slow_traffic_small.mp4')
# 获取视频的第一帧
ret, frame = cap.read()
# 设置初始窗口位置
x, y, w, h = 300, 200, 100, 50 # 硬编码位置
track_window = (x, y, w, h)
# 对追踪对象设置ROI
roi = frame[y:y + h, x:x + w]
# 只考虑HSV的色调
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# 为了避免由于低光导致的错误值，使用 cv2.inRange() 函数丢弃低光值。
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)
# 设置终止标准，10 次迭代或移动至少 1pt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)
while (1):
ret, frame = cap.read()
if ret == True:
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
# 应用meanshift获取新位置
ret, track_window = cv2.meanShift(dst, track_window, term_crit)
# 在图像上绘制它
x, y, w, h = track_window
img2 = cv2.rectangle(frame, (x, y), (x + w, y + h), 255, 2)
cv2.imshow('img2', img2)
k = cv2.waitKey(60) & 0xff
if k == 27:
break
else:
cv2.imwrite(chr(k) + ".jpg", img2)
else:
break
cv2.destroyAllWindows()
cap.release()
2.2 Camshift（Continuously Adaptive Meanshift）持续自适应性均移
# 使用MeanShift均移和 CAMshift（Continuously Adaptive Meanshift）持续自适应均移以寻找和追踪对象
# CAMshift 是 MeanShift的优化，它会持续性的自动调整窗口的大小，并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换，直到达到所需的精度；
import numpy as np
import cv2
cap = cv2.VideoCapture('images/slow_traffic_small.mp4')
# 获取视频的第一帧
ret, frame = cap.read()
# 设置初始窗口位置
x, y, w, h = 300, 200, 100, 50 # 硬编码位置
track_window = (x, y, w, h)
# 对追踪对象设置ROI
roi = frame[y:y + h, x:x + w]
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)
# 设置终止条件，迭代10次或者至少移动1pt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)
while (1):
ret, frame = cap.read()
if ret == True:
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
# 应用camshift获取新位置
# 返回一个旋转的矩形和框参数（用于在下一次迭代中作为搜索窗口传递）
# 它首先应用均值变换。一旦meanshift收敛，它会更新窗口的大小，并且计算最佳拟合椭圆的方向。它再次应用具有新缩放搜索窗口和先前窗口位置的均值变换。该过程一直持续到满足所需的精度。
ret, track_window = cv2.CamShift(dst, track_window, term_crit)
# 绘制在图像上
pts = cv2.boxPoints(ret)
pts = np.int0(pts)
img2 = cv2.polylines(frame, [pts], True, 255, 2)
cv2.imshow('img2', img2)
# cv2.waitKey(0)
k = cv2.waitKey(60) & 0xff
if k == 27:
break
else:
cv2.imwrite(chr(k) + ".jpg", img2)
else:
break
cv2.destroyAllWindows()
cap.release()