Lucas-Kanade 方法的光流？

Posted 2023-02-21

【中文标题】Lucas-Kanade 方法的光流？

【英文标题】：Optical flow by Lucas-Kanade method?

【发布时间】：2016-06-06 11:51:04

【问题描述】：

OpenCV tutorials-python中给出的方法在处理上有一些延迟，就像以0.5的速度播放视频一样，你能建议任何其他方法，在光流特征（位移矢量场）中可以忽略不计延迟？

import cv2
import numpy as np
cap = cv2.VideoCapture("vtest.avi")

ret, frame1 = cap.read()
prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255

while(1):
    ret, frame2 = cap.read()
    next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY)

    flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)

    cv2.imshow('frame2',rgb)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break
    elif k == ord('s'):
        cv2.imwrite('opticalfb.png',frame2)
        cv2.imwrite('opticalhsv.png',rgb)
    prvs = next

cap.release()
cv2.destroyAllWindows()

【问题讨论】：

k = cv2.waitKey(1) & 0xff 应该有帮助

@Miki 我不确定这会对他的情况有所帮助，也许只有一点点。这里的主要消费者可能是 Farneback 光流计算。

@A.Sarid 我说的是帮助，而不是解决问题；D

【参考方案1】：

首先，您在代码中使用的方法不是 Lucas-Kanade。您正在使用 calcOpticalFlowFarneback 函数，它是用于运动估计的 Farneback 方法。

一般来说，光流是一个相当繁重的算法，它真的取决于你的需求。您主要有两种类型的方法 - 稀疏和密集：

calcOpticalFlowFarneback 是一种密集算法，这意味着它生成的流矩阵为 你的帧的大小，它实际上计算每个 像素。 calcOpticalFlowPyrLK (Lucas-Kanade) 方法是一种稀疏方法，它只需要指定 像素数并计算它们上的流量。

如果您想要更好的性能，您可能想尝试 Lucas-Kanade 方法。 看看这个OpenCV Optical Flow Tutorial，你有 Farneback 和 Lucas-Kanade 的两个例子。

在 Lucas-Kanade 示例中，他们使用goodFeaturesToTrack 方法生成适合在此类运动估计算法中跟踪的像素数量。取决于您的需求，您可能想要使用此方法或自己定义一些像素。 请注意，您当然可以更改已处理像素的数量，从而更改算法的处理时间。

您可能还想检查this answer，即使它适用于 DualTVL1 方法，它也可能适用于其他方法。

【讨论】：

谢谢@A。 Sarid“goodFeaturesToTrack”非常快......达到目的