如何使用 OpenCV 3.0 StereoSGBM 和 PCL 生成一对立体图像的有效点云表示

Posted 2023-02-23

【中文标题】如何使用 OpenCV 3.0 StereoSGBM 和 PCL 生成一对立体图像的有效点云表示

【英文标题】：How to generate a valid point cloud representation of a pair of stereo images using OpenCV 3.0 StereoSGBM and PCL

【发布时间】：2016-03-23 05:37:53

【问题描述】：

我最近开始使用 OpenCV 3.0，我的目标是从一组立体相机中捕获一对立体图像，创建适当的视差图，将视差图转换为 3D 点云，最后显示结果点使用 PCL 在点云查看器中查看云。

我已经进行了相机校准，得到的校准 RMS 为 0.4

您可以在下面的链接中找到我的图像对（左图）1 和（右图）2。我正在使用 StereoSGBM 来创建视差图像。我还使用跟踪条来调整 StereoSGBM 函数参数以获得更好的视差图像。不幸的是，我无法发布我的差异图像，因为我是 *** 的新手，并且没有足够的声誉发布两个以上的图像链接！

得到视差图像（下面代码中的“disp”）后，我使用reprojectImageTo3D()函数将视差图像信息转换为XYZ 3D坐标，然后将结果转换为“pcl:: PointXYZRGB" 点，以便它们可以显示在 PCL 点云查看器中。执行所需的转换后，我得到的点云是一个愚蠢的金字塔形状的点云，没有任何意义。我已经阅读并尝试了以下链接中的所有建议方法：

1- http://blog.martinperis.com/2012/01/3d-reconstruction-with-opencv-and-point.html

2- http://***.com/questions/13463476/opencv-stereorectifyuncalibrated-to-3d-point-cloud

3- http://***.com/questions/22418846/reprojectimageto3d-in-opencv

他们都没有工作！！！

下面我提供了我的代码的转换部分，如果你能告诉我我缺少什么，将不胜感激：

pcl::PointCloud<pcl::PointXYZRGB>::Ptr pointcloud(new   pcl::PointCloud<pcl::PointXYZRGB>());
    Mat xyz;
    reprojectImageTo3D(disp, xyz, Q, false, CV_32F);
    pointcloud->width = static_cast<uint32_t>(disp.cols);
    pointcloud->height = static_cast<uint32_t>(disp.rows);
    pointcloud->is_dense = false;
    pcl::PointXYZRGB point;
    for (int i = 0; i < disp.rows; ++i)
        
            uchar* rgb_ptr = Frame_RGBRight.ptr<uchar>(i);
            uchar* disp_ptr = disp.ptr<uchar>(i);
            double* xyz_ptr = xyz.ptr<double>(i);

            for (int j = 0; j < disp.cols; ++j)
            
                uchar d = disp_ptr[j];
                if (d == 0) continue;
                Point3f p = xyz.at<Point3f>(i, j);

                point.z = p.z;   // I have also tried p.z/16
                point.x = p.x;
                point.y = p.y;

                point.b = rgb_ptr[3 * j];
                point.g = rgb_ptr[3 * j + 1];
                point.r = rgb_ptr[3 * j + 2];
                pointcloud->points.push_back(point);
            
        
    viewer.showCloud(pointcloud);

【问题讨论】：

请检查您提供的图片，它们看起来一样

对不起，我的错。我上传了正确的帧！

【参考方案1】：

在做了一些工作和研究之后，我找到了我的答案，我在这里分享它，以便其他读者可以使用。

从视差图像到 3D XYZ（最终到点云）的转换算法没有任何问题。问题是物体（我正在拍摄的照片）到相机的距离以及可供 StereoBM 或 StereoSGBM 算法检测两个图像（图像对）之间相似性的信息量。为了获得正确的 3D 点云，需要具有良好的视差图像，并且为了获得良好的视差图像（假设您进行了良好的校准），请确保以下几点：

1- 两个帧（右帧和左帧）之间应该有足够的可检测和可区分的共同特征。原因是 StereoBM 或 StereoSGBM 算法寻找两个帧之间的共同特征，并且它们很容易被两个帧中可能不一定属于相同对象的相似事物所欺骗。我个人认为这两种匹配算法还有很大的改进空间。所以要小心你用相机看到的东西。

2- 感兴趣的对象（您有兴趣拥有其 3D 点云模型的对象）应该与您的相机有一定的距离。基线越大（基线是两个摄像头之间的距离），您感兴趣的对象（目标）就可以越远。

嘈杂且失真的视差图像永远不会生成良好的 3D 点云。您可以做的一件事来改善您的视差图像是在您的应用程序中使用跟踪栏，以便您可以调整 StereoSBM 或 StereoSGBM 参数，直到您可以看到良好的结果（清晰平滑的视差图像）。下面的代码是一个关于如何生成轨迹栏的小而简单的示例（我写得尽可能简单）。按需使用：

 int PreFilterType = 0, PreFilterCap = 0, MinDisparity = 0, UniqnessRatio = 0, TextureThreshold = 0,
    SpeckleRange = 0, SADWindowSize = 5, SpackleWindowSize = 0, numDisparities = 0, numDisparities2 = 0, PreFilterSize = 5;


            Ptr<StereoBM> sbm = StereoBM::create(numDisparities, SADWindowSize);  

while(1)

            sbm->setPreFilterType(PreFilterType);
            sbm->setPreFilterSize(PreFilterSize);  
            sbm->setPreFilterCap(PreFilterCap + 1);
            sbm->setMinDisparity(MinDisparity-100);
            sbm->setTextureThreshold(TextureThreshold*0.0001);
            sbm->setSpeckleRange(SpeckleRange);
            sbm->setSpeckleWindowSize(SpackleWindowSize);
            sbm->setUniquenessRatio(0.01*UniqnessRatio);
            sbm->setSmallerBlockSize(15);
            sbm->setDisp12MaxDiff(32);

            namedWindow("Track Bar Window", CV_WINDOW_NORMAL);
            cvCreateTrackbar("Number of Disparities", "Track Bar Window", &PreFilterType, 1, 0);
            cvCreateTrackbar("Pre Filter Size", "Track Bar Window", &PreFilterSize, 100);
            cvCreateTrackbar("Pre Filter Cap", "Track Bar Window", &PreFilterCap, 61);
            cvCreateTrackbar("Minimum Disparity", "Track Bar Window", &MinDisparity, 200);
            cvCreateTrackbar("Uniqueness Ratio", "Track Bar Window", &UniqnessRatio, 2500);
            cvCreateTrackbar("Texture Threshold", "Track Bar Window", &TextureThreshold, 10000);
            cvCreateTrackbar("Speckle Range", "Track Bar Window", &SpeckleRange, 500);
            cvCreateTrackbar("Block Size", "Track Bar Window", &SADWindowSize, 100);
            cvCreateTrackbar("Speckle Window Size", "Track Bar Window", &SpackleWindowSize, 200);
            cvCreateTrackbar("Number of Disparity", "Track Bar Window", &numDisparities, 500);

            if (PreFilterSize % 2 == 0)
            
                PreFilterSize = PreFilterSize + 1;
            


            if (PreFilterSize2 < 5)
            
                PreFilterSize = 5;
            

            if (SADWindowSize % 2 == 0)
            
                SADWindowSize = SADWindowSize + 1;
            

            if (SADWindowSize < 5)
            
                SADWindowSize = 5;
            


            if (numDisparities % 16 != 0)
            
                numDisparities = numDisparities + (16 - numDisparities % 16);
            
        

如果您没有获得正确的结果和平滑的视差图像，请不要失望。尝试将 OpenCV 示例图像（其中带有橙色台灯的图像）与您的算法一起使用，以确保您拥有正确的管道，然后尝试从不同距离拍照并使用 StereoBM/StereoSGBM 参数，直到您能得到一些东西有用。我用自己的脸来做这个，因为我的基线非常小，所以我离我的相机很近（这是我的 3D 人脸点云图片的链接，嘿，你敢笑吗！！！ )1.经过一周的挣扎后，我很高兴看到自己以 3D 点云形式出现。我以前从来没有这么高兴见到自己！！！ ;)