在 rgb 图像中使用点云中的聚集索引

Posted 2023-02-21

【中文标题】在 rgb 图像中使用点云中的聚集索引

【英文标题】：using clustered indexes from point cloud in rgb image

【发布时间】：2013-05-15 18:40:28

【问题描述】：

我正在处理从两个图像中获取的深度图（我从 opencv StereoBM 获取），现在我需要在其中找到集群 我决定使用 pcl 区域增长分割http://www.pointclouds.org/documentation/tutorials/region_growing_segmentation.php。阅读本文http://blog.martinperis.com/2012/01/3d-reconstruction-with-opencv-and-point.html 后，我将 cv::Mat 转换为点云，现在我有了集群索引 这在这里发挥作用https://gist.github.com/Daiver/5586252 现在我想使用这些索引在 StereoBM (cv::Mat) 的深度图上显示集群

我正在尝试，但我对结果不满意

  pcl::PointCloud<pcl::PointXYZRGB>::Ptr cloud; //cloud from depth map and rgb image
  std::vector <pcl::PointIndices> clusters;// clusters inices, extracted before
  for(int j = 0; j < clusters.size(); j++)
  
      cv::Mat to_show = cv::Mat::zeros(288, 384, cv::DataType<uchar>::type);//image has size that equal size of rgb image and depth map        
      for(int i = 0; i < clusters[j].indices.size(); i++)
      
        to_show.data[clusters[j].indices[i]] = 200;// regions in this Mat must be equal with regions from depth map
      
      cv::imshow("", to_show);
      cv::waitKey();
  

结果 一些集群 另一个集群

可视化云

如何将集群投影到 cv::Mat？ PS对不起我的写作错误。英语不是我的母语

UPD 我尝试通过使用循环（如 mat_to_cloud 函数中的循环）来“恢复”深度图

int counter = 0;
cv::Mat to_show = cv::Mat::zeros(288, 384, cv::DataType<uchar>::type);
for(int i = 0; i < cloud->height; i++)

  for(int j = 0; j < cloud->width; j++)
  
    to_show.at<uchar>(i, j) = cloud->at(counter).z;
    counter++;
  

还有另一个循环顺序 整数计数器 = 0; cv::Mat to_show = cv::Mat::zeros(288, 384, cv::DataType::type); for(int j = 0; j width; j++) for(int i = 0; i height; i++) to_show.at(i, j) = cloud->at(counter).z; 计数器++；

我不知道为什么这些图片很相似

【问题讨论】：

结果到底有什么问题或者你不喜欢？另外，屏幕截图中的哪张图片显示了什么？

我想在深度图中看到单独的集群。像单头或单灯或单相机

这就是你想要的，但你的结果是什么，有什么问题？

截图上深度图右侧的图片是结果

请注意正确的标签是point-cloud-library，PCL原本代表打印机命令语言

【参考方案1】：

我以前没有使用过 PCL，但看起来这条线可能是错误的：

// regions in this Mat must be equal with regions from depth map
to_show.data[clusters[j].indices[i]] = 200;

to_show 是一个 opencv 矩阵，但您使用点云中的索引。您需要先将索引转换为像素坐标。

【讨论】：

感谢您的回答。我认为你是对的，但是来自云的索引取决于来自 Mat 的像素，因为我在这个循环中向云添加了点： for (int i = 0; i push_back (point);//push_back 将点添加到点向量的末尾？我认为，浊点的顺序与“数据”点的顺序相同。

可能是对的，我假设您的数据类型不正确，或者存在对齐问题，或者图像数据以列主要模式排序。尝试检查这些。

你是说to_Show的数据类型吗？ “或者图像数据以列主模式排序”我想过，但我不知道如何检查它

您可以尝试使用与获取索引相同的循环将它们写回矩阵。这些曲线看起来像你的步长太小，但它们也是曲折的。不知道，看图太难调试了。 ;)

【参考方案2】：

我解决了我的问题，但我的解决方案有点肮脏和愚蠢。 我做了自己的简单重投影函数

void straight_reproject_cloud(cv::Mat& img_rgb, cv::Mat& img_disparity, pcl::PointCloud<pcl::PointXYZRGB>::Ptr& point_cloud_ptr)

    uchar pr, pg, pb;
    for (int i = 0; i < img_rgb.rows; i++)
    
        uchar* rgb_ptr = img_rgb.ptr<uchar>(i);
        uchar* disp_ptr = img_disparity.ptr<uchar>(i);
        for (int j = 0; j < img_rgb.cols; j++)
        
            uchar d = disp_ptr[j];
            if ( d == 0 ) continue; //Discard bad pixels
            pb = rgb_ptr[3*j];
            pg = rgb_ptr[3*j+1];
            pr = rgb_ptr[3*j+2];
            //Insert info into point cloud structure
            pcl::PointXYZRGB point;
            point.x = j;
            point.y = i;
            point.z = d;
            uint32_t rgb = (static_cast<uint32_t>(pr) << 16 |
                  static_cast<uint32_t>(pg) << 8 | static_cast<uint32_t>(pb));
            point.rgb = *reinterpret_cast<float*>(&rgb);
            point_cloud_ptr->push_back (point);
         
    

此功能直接从图像中将点添加到云中，无需更改 新云与旧重投影不重合，但我可以使用它

现在云中的点坐标与图像中的坐标一致 我可以在图像中显示来自云的所有集群：

for(int k = 0; k < clusters.size(); k++)

    cv::Mat res = cv::Mat::zeros(img_rgb.rows, img_rgb.cols, CV_8U);
    //for(int i =0 ; i < point_cloud_ptr->points.size(); i++)
    for(int j =0 ; j < clusters[k].indices.size(); j++)
    
        int i = clusters[k].indices[j];
        int x = point_cloud_ptr->at(i).x;
        int y = point_cloud_ptr->at(i).y;
        res.at<uchar>(y, x) = (int)(point_cloud_ptr->at(i).z);
    
    cv::imshow("rec2", res);
    cv::waitKey();

新云

【讨论】：

也许我的重新投影对某人有帮助