python-opencv学习记录--光流估计

光流估计

光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”，根据各个像素点的速度矢量特征，可以对图像进行动态分析，例如目标跟踪。

前提

• 亮度恒定：同一点随着时间的变化，其亮度不会发生改变。
• 小运动：随着时间的变化不会引起位置的剧烈变化，只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。
• 空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。所以需要连立n多个方程求解。

Lucas-Kanade算法

函数

cv2.calcOpticalFlowPyrLK():

​ 参数：

• prevImage 前一帧图像

• nextImage 当前帧图像

• prevPts 待跟踪的特征点向量

• winSize 搜索窗口的大小

• maxLevel 最大的金字塔层数

​ 返回：

• nextPts 输出跟踪特征点向量
• status 特征点是否找到，找到的状态为1，未找到的状态为0\n"

代码案例

import numpy as np
import cv2 as cv


cap = cv.VideoCapture('test.avi')
# ShiTomasi角落检测的参数
feature_params = dict(maxCorners=100,
                     qualityLevel=0.3,
                     minDistance=7,
                     blockSize=7)
# lucas kanade光流的参数
lk_params = dict(winSize=(15, 15),
                maxLevel=2,
                criteria=(cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 0.03))
# 创建一些随机颜色
color = np.random.randint(0, 255, (100, 3))
# 拍摄第一帧并在其中找到角落
ret, old_frame = cap.read()
old_gray = cv.cvtColor(old_frame, cv.COLOR_BGR2GRAY)
p0 = cv.goodFeaturesToTrack(old_gray, mask=None, **feature_params)
# 创建一个用于绘图目的的蒙版图像
mask = np.zeros_like(old_frame)
while(1):
   ret, frame = cap.read()
   frame_gray = cv.cvtColor(frame, cv.COLOR_BGR2GRAY)
   # ＃计算光流
   p1, st, err = cv.calcOpticalFlowPyrLK(
       old_gray, frame_gray, p0, None, **lk_params)
   # 选择较好的点
   good_new = p1[st == 1]
   good_old = p0[st == 1]
   # 画出曲线
   for i, (new, old) in enumerate(zip(good_new, good_old)):
       a, b = new.ravel()
       c, d = old.ravel()
       mask = cv.line(mask, (a, b), (c, d), color[i].tolist(), 2)
       frame = cv.circle(frame, (a, b), 5, color[i].tolist(), -1)
   img = cv.add(frame, mask)
   cv.imshow('frame', img)
   k = cv.waitKey(30) & 0xff
   if k == 27:
       break
   # 现在更新上一帧和前一点
   old_gray = frame_gray.copy()
   p0 = good_new.reshape(-1, 1, 2)
cv.destroyAllWindows()
cap.release()

效果