opencv视频分析之光流

1.原理

• 由于目标对象或者摄像机的移动，造成的图像对象在连续两帧图像中的移动被称为光流。它是一个2D 向量场，可以用来显示一个点从第一帧图像到第二帧图像之间的移动。
  
  上图显示了一个点在连续的五帧图像间的移动。箭头表示光流场向量。光流在很多领域中都很有用： 运动重建结构、视频压缩、Video Stabilization 等。
• 光流是基于以下假设的：1. 在连续的两帧图像之间（目标对象的）像素的灰度值不改变。2. 相邻的像素具有相同的运动。

2.Lucas-Kanade 法

• 利用一个3x3 邻域中的9 个点具有相同运动的这一点，找到这9 个点的光流方程，用它们组成一个具有两个未知数9 个等式的方程组。
• 从使用者的角度来看，我们去跟踪一些点，然后就会获得这些点的光流向量。但我们处理的都是很小的运动。如果有大的运动怎么办呢？我们可以使用图像金字塔的顶层。此时小的运动被移除，大的运动装换成了小的运动，再使用Lucas-Kanade算法，我们就会得到尺度空间上的光流。

代码速记：

• cv2.goodFeaturesToTrack()
• cv2.calcOpticalFlowPyrLK()

实战：

def lucas(self):
    cap = cv2.VideoCapture('../images/slow.flv')
    #ShiTomasi角点检测所需参数
    feature_params = dict(maxCorners=100,
                          qualityLevel=0.3,
                          minDistance=7,
                          blockSize=7)
    #lucas kanade光流所需参数
    # maxLevel 为使用的图像金字塔层数
    lk_params = dict(winSize=(15, 15),
                     maxLevel=2,
                     criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))
    #随机颜色
    color = np.random.randint(0, 255, (100, 3))
    #【1】读取第一帧，并进行角点检测，确定要跟踪的点
    ret, old_frame = cap.read()
    old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
    p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)
    # 创建用于绘画的遮罩图像
    mask = np.zeros_like(old_frame)
    while True:
        ret, frame = cap.read()
        frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        # 【2】给光流函数传入前一帧图像、下一帧图像、前一帧图像的角点
        p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)
        #函数将返回带有状态数的点。
        #如果状态数是1，那说明在下一帧图像中找到了这个点（上一帧中角点）。
        #如果状态数是0，就说明没有在下一帧图像中找到这个点。
        #我们再把这些点作为参数传给函数，如此迭代下去实现跟踪。
        # 【3】存储找到的点，画出轨迹
        good_new = p1[st == 1]
        good_old = p0[st == 1]
        for i, (new, old) in enumerate(zip(good_new, good_old)):
            a, b = new.ravel()
            c, d = old.ravel()
            mask = cv2.line(mask, (a, b), (c, d), color[i].tolist(), 2)
            frame = cv2.circle(frame, (a, b), 5, color[i].tolist(), -1)
        img = cv2.add(frame, mask)
        cv2.imshow('frame', img)
        k = cv2.waitKey(30)  # & 0xff
        if k == 27:
            break
        # 【4】更新前一帧和前一帧的特征点
        old_gray = frame_gray.copy()
        p0 = good_new.reshape(-1, 1, 2)
    cv2.destroyAllWindows()
    cap.release()

上面的代码没有对返回角点的正确性进行检查。图像中的一些特征点甚至在丢失以后，光流还会找到一个预期相似的点。所以为了实现稳定的跟踪，我们应该每隔一定间隔就要进行一次角点检测。OpenCV 的官方示例中带有这样一个例子，它是每5 帧进行一个特征点检测。它还对光流点使用反向检测来选取好的点进行跟踪。示例为/samples/python2/lk_track.py。

3.稠密光流

Lucas-Kanade方法计算稀疏特征集的光流(在我们的示例中，使用Shi-omasi算法检测角点)。OpenCV提供了另一种寻找密集光流的算法。它计算图像中所有点的光流。

代码速记：

• cv2.calcOpticalFlowFarneback()
• cv2.cartToPolar()

实战：

def dense(self):
    cap = cv2.VideoCapture("../images/vtest.avi")
    ret, frame1 = cap.read()
    #对整幅图像计算
    prvs = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
    hsv = np.zeros_like(frame1)
    hsv[..., 1] = 255
    while True:
        ret, frame2 = cap.read()
        next = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)
        # 稠密光流
        flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
        #返回带有光流向量（u，v）的双通道数组。
        #通过计算我们能得到光流的大小和方向。
        #我们使用颜色对结果进行编码以便于更好的观察。
        #方向对应于H（Hue）通道，大小对应于V（Value）通道。
        mag, ang = cv2.cartToPolar(flow[..., 0], flow[..., 1])
        hsv[..., 0] = ang * 180 / np.pi / 2
        hsv[..., 2] = cv2.normalize(mag, None, 0, 255, cv2.NORM_MINMAX)
        bgr = cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)
        #显示帧
        cv2.imshow('frame2', frame2)
        cv2.imshow('flow', bgr)
        k = cv2.waitKey(1) & 0xff
        if k == 27:
            break
        elif k == ord('s'):
            cv2.imwrite('opticalfb.png', frame2)
            cv2.imwrite('opticalhsv.png', bgr)
        #更新图像
        prvs = next
        
    cap.release()
    cv2.destroyAllWindows()