基于 OpenCV C++ 光流的分割代码抛出异常

Posted 2023-02-21

【中文标题】基于 OpenCV C++ 光流的分割代码抛出异常

【英文标题】：OpenCV C++ Optical Flow based segmentation code throws Exception

【发布时间】：2013-04-13 03:14:38

【问题描述】：

从一个 SO 答案中，需要使用光流密集光流进行分割。我修改了this code 。它使用calcOpticalFlowFarneback 函数计算两个连续帧之间的密集流场。

根据 SO 答案 here 和 here ，我尝试使用

计算位移的大小

sqrt(位移_in_x^2 + 位移_in_y^2)

函数返回位移为 CV_32FC2

这是我的代码：-

#include "stdafx.h"

#include "cv.h"
#include "highgui.h"
#include <iostream>


using namespace cv;
using namespace std;

void drawOptFlowMap(const Mat& flow, Mat& cflowmap, int step,
                    double scale, const Scalar& color)

    for(int y = 0; y < cflowmap.rows; y += step)
        for(int x = 0; x < cflowmap.cols; x += step)
        
            const Point2f& fxy = flow.at<Point2f>(y, x);
            line(cflowmap, Point(x,y), Point(cvRound(x+fxy.x), cvRound(y+fxy.y)),
                 color);
            circle(cflowmap, Point(x,y), 2, color, -1);
        


int main()

    VideoCapture cap("vip.avi");


    if( !cap.isOpened() )
        return -1;

    Mat prevgray, gray, flow, cflow, frame;
    double col = cap.get(CV_CAP_PROP_FRAME_WIDTH);
    double row = cap.get(CV_CAP_PROP_FRAME_HEIGHT);
    Mat flow_img = Mat::zeros(row,col,CV_8UC1);

    namedWindow("flow", 1);
   namedWindow("segmented",1);

   for(;;)
    
        cap >> frame;
        cvtColor(frame, gray, CV_BGR2GRAY);

        if( prevgray.data )
        
            calcOpticalFlowFarneback(prevgray, gray, flow, 0.5, 3, 15, 15, 5, 1.2, 0);
            cvtColor(prevgray, cflow, CV_GRAY2BGR);
            drawOptFlowMap(flow, cflow, 8, 1.5, CV_RGB(0, 255, 0));
            imshow("flow", cflow);
        

        //This part I added to  compute Magnitude of flow
for(int i=0;i<gray.rows;i++)
    for(int j=0;j<gray.cols;j++)
        flow_img.at<uchar>(i,j)= cvRound(  sqrt ( pow (flow.at<Vec2f>(i,j)[0] ,2 )+ pow ( flow.at<Vec2f>(i,j)[1],2) ));

//threshold image
threshold(flow_img,flow_img,10,255,THRESH_BINARY); //some arbitrary thresh value 10

        imshow("segmented",flow_img);

        if(waitKey(30)>=0)
            break;

        std::swap(prevgray, gray);
    
    return 0;

我使用的是 Microsoft Visual C++ 2010，并且没有构建错误。但是程序不会运行并抛出以下内容：

在控制台窗口中我得到：

我不明白我在哪里犯了错误。谁能帮帮我。有类似的 SO 问题here，答案是我使用的代码。我仍然遇到上述问题

你可以找到我的输入视频here或here

【问题讨论】：

哪一行导致异常？ Visual Studio 应该通过标记来显示它，如果不通过调试代码检查它。

它没有标记任何东西...弹出一个窗口显示图像（在我的 qn 中更新）...当我调试时它没有显示任何问题...代码运行显示流的输出向量几秒钟，然后退出显示上述内容..

上传某个地方的 avi 文件 - 我会检查，所以我可以自己检查。

我已经上传了视频文件...见上面我编辑的qn

【参考方案1】：

你确定那行`

const Point2f& fxy = flow.at<Point2f>(y, x);

允许吗？ Point2f 不是 cv::Mat 类的文档中描述的类型之一。 尝试使用 cv::Vec2f 作为模板参数。然后，您可以用结果填充Point2f 变量。

下一个问题：在计算流的 8 位大小的那一行中，使用saturate_cast 运算符会更安全：

flow_img.at<uchar>(i,j)= cv::saturate_cast<uchar>(cvRound(  sqrt ( pow (flow.at<Vec2f>(i,j)[0] ,2 )+ pow ( flow.at<Vec2f>(i,j)[1],2) )));

还不确定它是否会导致您的程序不幸崩溃。

错误告诉您的是，您正在调用带有错误参数的 OpenCV 函数。在调试模式下，在您的程序中逐步执行，以便我们知道是哪一个。

【讨论】：

我试过 const Point2f& fxy = flow.at(y, x); 但几秒钟后代码仍然退出......

对不起，我用另一个问题完成了我的回答，但我认为我没有找到错误。请参阅我的答案的结尾以获取提示。

【参考方案2】：

代码行

std::swap(prevgray, gray);

可能会导致问题，因为 std::swap 的行为是

c(a); a=b; b=c;

并且以这种方式使用 = 运算符，它不会应用输入图像的深层副本。更好用

gray.copyTo(prevgray);

为prevgray分配自己的内存。否则prevgray的数据指针指向gray的内容。