OpenCV 中的 Lucas-Kanade 光流对我不起作用

Posted 2023-02-21

【中文标题】OpenCV 中的 Lucas-Kanade 光流对我不起作用

【英文标题】：Lucas-Kanade Optical Flow in OpenCV Doesn't work for me

【发布时间】：2018-03-13 22:41:14

【问题描述】：

我按照opencv教程中的步骤操作：

http://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_video/py_lucas_kanade/py_lucas_kanade.html

这里对我不起作用。

谁能帮我弄清楚为什么我不能得到这样的输出

import numpy as np
import cv2

cap = cv2.VideoCapture('Shorttest.mp4')

# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
                       qualityLevel = 0.3,
                       minDistance = 7,
                       blockSize = 7 )

# Parameters for lucas kanade optical flow
lk_params = dict( winSize  = (15,15),
                  maxLevel = 2,
                  criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))

# Create some random colors
color = np.random.randint(0,255,(100,3))

# Take first frame and find corners in it
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask = None, **feature_params)

# Create a mask image for drawing purposes
mask = np.zeros_like(old_frame)

while(1):
    ret,frame = cap.read()
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # calculate optical flow
    p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

    # Select good points
    good_new = p1[st==1]
    good_old = p0[st==1]

    # draw the tracks
    for i,(new,old) in enumerate(zip(good_new,good_old)):
        a,b = new.ravel()
        c,d = old.ravel()
        mask = cv2.line(mask, (a,b),(c,d), color[i].tolist(), 2)
        frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)
    img = cv2.add(frame,mask)

    cv2.imshow('frame',img)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

    # Now update the previous frame and previous points
    old_gray = frame_gray.copy()
    p0 = good_new.reshape(-1,1,2)

cv2.destroyAllWindows()
cap.release()

【问题讨论】：

我确实遇到了同样的问题。 Q 关于 SO 和可能的答案 - 我没有尝试过 here。如果您觉得答案有帮助，请告诉我，我会接受的

@Croolman：你提供的链接只是关于光流的可视化。你认为 OP 在他的代码中有问题吗？

【参考方案1】：

光流估计结果不佳的原因有很多。考虑到您的具体问题，我将首先关注：

您的位移是否过大。这可能是因为帧速率低，或者是因为项目移动得很快，或者靠近相机。按像素/帧测量位移。对于每个金字塔级别，您只能希望使用 LK 检测几个像素/帧。

你有运动模糊吗？不要与大位移相混淆。对于现实世界中的大运动，项目沿运动方向变得模糊。

阴影和反射。更大类问题的一部分：未通过“亮度恒定约束”的数据（一个点在帧与帧之间必须看起来相同，尽管它的位置不同）。查看您的数据并确保自己的位置实际上看起来相同。如果使用稀疏流，您可以检查特征检测模块在每一帧上的执行情况。相同的点应该会作为很好的特征来跟踪。

您是否有多个运动发生？例如，这是汽车相互驶过的时候。也不好。

有一些方法可以处理所有这些问题，但要为工程项目做好准备。