OpenCV 锐化边缘（没有孔的边缘）

Posted 2023-03-16

【中文标题】OpenCV 锐化边缘（没有孔的边缘）

【英文标题】：OpenCV sharpen the edges (edges with no holes)

【发布时间】：2017-07-06 04:49:52

【问题描述】：

我正在尝试检测最大/更大的矩形形状并将边界框绘制到检测到的区域。 在我的用例中，代表矩形形状的对象通常（但不总是）是白色的，而背景的颜色也与白色非常相似。

在检测轮廓之前，我对图像进行了预处理以检测完美边缘。 我的问题是我无法完美地检测到边缘，即使在模糊并使用“自适应阈值”或“阈值”之后我也有很多噪音。

The original image i have used for contours detection

我尝试了不同的方法来检测不同光照条件下的完美边缘，但没有成功。

如何处理图像以检测完美边缘（没有孔的边缘）以进行轮廓检测？

下面是我正在使用的代码

public static Mat findRectangleX(Mat original) 
  Mat src = original.clone();
  Mat gray = new Mat();
  Mat binary = new Mat();
  MatOfPoint2f approxCurve;
  List<MatOfPoint> contours = new ArrayList<MatOfPoint>();

    if (original.type() != CvType.CV_8U) 
        Imgproc.cvtColor(original, gray, Imgproc.COLOR_BGR2GRAY);
     else 
        original.copyTo(gray);
    

    Imgproc.GaussianBlur(gray, gray, new Size(5,5),0);
    Imgproc.adaptiveThreshold(gray, binary, 255,Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C,Imgproc.THRESH_BINARY_INV,11, 1);

    //Imgproc.threshold(gray, binary,0,255,Imgproc.THRESH_BINARY_INV | Imgproc.THRESH_OTSU);


    double maxArea = 0;
    Imgproc.findContours(binary, contours, new Mat(),Imgproc.RETR_LIST, Imgproc.CHAIN_APPROX_SIMPLE);

    for (int i = 0; i<contours.size();i++) 
        MatOfPoint contour = contours.get(i);
        MatOfPoint2f temp = new MatOfPoint2f(contour.toArray());
        double area = Imgproc.contourArea(contour);
        approxCurve = new MatOfPoint2f();
        Imgproc.approxPolyDP(temp, approxCurve, Imgproc.arcLength(temp, true) * 0.03, true);

        if (approxCurve.total() == 4 ) 
            Rect rect = Imgproc.boundingRect(contours.get(i));
            Imgproc.rectangle(src, rect.tl(), rect.br(), new Scalar(255, 0, 0, .8), 4);
            if(maxArea < area)
                maxArea = area;
        
    

    Log.v(TAG, "Total contours found : " + contours.size());
    Log.v(TAG, "Max area :" + maxArea);

    return src;

我在 *** 上搜索了类似的问题并尝试了代码示例，但其中任何一个都对我有用。我认为困难是白色背景上的白色物体。

如何处理图像以锐化边缘以进行轮廓检测？

如何检测最大/更大的矩形形状并将矩形线绘制到检测到的形状？

//更新日期：20/02/2017

我已经尝试了@Nejc 在下面的帖子中建议的解决方案。分割更好，但我的轮廓仍然有孔，findcontours 无法检测到较大的轮廓。 以下是@Nejc 提供并翻译成java 的代码。

public static Mat process(Mat original)
    Mat src = original.clone();
    Mat hsvMat = new Mat();
    Mat saturation = new Mat();
    Mat sobx = new Mat();
    Mat soby = new Mat();
    Mat grad_abs_val_approx = new Mat();

    Imgproc.cvtColor(src, hsvMat, Imgproc.COLOR_BGR2HSV);
    List<Mat> hsv_channels = new ArrayList<Mat>(3);
    Core.split(hsvMat, hsv_channels);
    Mat hue = hsv_channels.get( 0 );
    Mat sat = hsv_channels.get( 1 );
    Mat val = hsv_channels.get( 2 );

    Imgproc.GaussianBlur(sat, saturation, new Size(9, 9), 2, 2);
    Mat imf = new Mat();
    saturation.convertTo(imf, CV_32FC1, 0.5f, 0.5f);

    Imgproc.Sobel(imf, sobx, -1, 1, 0);
    Imgproc.Sobel(imf, soby, -1, 0, 1);

    sobx = sobx.mul(sobx);
    soby = soby.mul(soby);

    Mat abs_x = new Mat();
    Core.convertScaleAbs(sobx,abs_x);
    Mat abs_y = new Mat();
    Core.convertScaleAbs(soby,abs_y);
    Core.addWeighted(abs_x, 1, abs_y, 1, 0, grad_abs_val_approx);

    sobx.release();
    soby.release();


    Mat filtered = new Mat();
    Imgproc.GaussianBlur(grad_abs_val_approx, filtered, new Size(9, 9), 2, 2);

    final MatOfDouble mean = new MatOfDouble();
    final MatOfDouble stdev = new MatOfDouble();
    Core.meanStdDev(filtered, mean, stdev);

    Mat thresholded = new Mat();
    Imgproc.threshold(filtered, thresholded, mean.toArray()[0] + stdev.toArray()[0], 1.0, Imgproc.THRESH_TOZERO);

    /*
    Mat thresholded_bin = new Mat();
    Imgproc.threshold(filtered, thresholded_bin, mean.toArray()[0] + stdev.toArray()[0], 1.0, Imgproc.THRESH_BINARY);
    Mat converted = new Mat();
    thresholded_bin.convertTo(converted, CV_8UC1);
    */

    return thresholded;

这是我运行上面的代码后得到的图像

Image after using @Nejc solution

1) 为什么我翻译后的代码没有像@Nejc 那样输出相同的图像？ 应用于同一图像的相同代码应该产生相同的输出？

2) 我在翻译时是否遗漏了什么？

3) 据我了解，为什么我们在这条指令中将图像自身相乘 sobx = sobx.mul(sobx); ?

【问题讨论】：

“完美边缘”是什么意思？完全笔直？

锐化图像中的边缘以便更好地检测轮廓

【参考方案1】：

感谢您的 cmets 和建议。 @NEJC 提供的代码完美运行，覆盖了我 80% 的用例。

尽管如此，它不适用于类似的情况 case not solved by the current code 我不知道为什么。

也许有人有想法/线索/解决方案？

我继续改进代码并尝试找到一个可以涵盖更多案例的更通用的解决方案。如果我找到了，我会发布它。

无论如何，下面是基于@NEJC 解决方案和注释的工作代码。

public static Mat process(Mat original)
    Mat src = original.clone();
    Mat hsvMat = new Mat();
    Mat saturation = new Mat();
    Mat sobx = new Mat();
    Mat soby = new Mat();
    Mat grad_abs_val_approx = new Mat();

    Imgproc.cvtColor(src, hsvMat, Imgproc.COLOR_BGR2HSV);
    List<Mat> hsv_channels = new ArrayList<Mat>(3);
    Core.split(hsvMat, hsv_channels);
    Mat hue = hsv_channels.get( 0 );
    Mat sat = hsv_channels.get( 1 );
    Mat val = hsv_channels.get( 2 );

    Imgproc.GaussianBlur(sat, saturation, new Size(9, 9), 2, 2);
    Mat imf = new Mat();
    saturation.convertTo(imf, CV_32FC1, 0.5f, 0.5f);

    Imgproc.Sobel(imf, sobx, -1, 1, 0);
    Imgproc.Sobel(imf, soby, -1, 0, 1);

    sobx = sobx.mul(sobx);
    soby = soby.mul(soby);

    Mat sumxy = new Mat();
    Core.add(sobx,soby, sumxy);
    Core.pow(sumxy, 0.5, grad_abs_val_approx);

    sobx.release();
    soby.release();
    sumxy.release();;


    Mat filtered = new Mat();
    Imgproc.GaussianBlur(grad_abs_val_approx, filtered, new Size(9, 9), 2, 2);

    final MatOfDouble mean = new MatOfDouble();
    final MatOfDouble stdev = new MatOfDouble();
    Core.meanStdDev(filtered, mean, stdev);

    Mat thresholded = new Mat();
    Imgproc.threshold(filtered, thresholded, mean.toArray()[0] + stdev.toArray()[0], 1.0, Imgproc.THRESH_TOZERO);


    /*
    Mat thresholded_bin = new Mat();
    Imgproc.threshold(filtered, thresholded_bin, mean.toArray()[0] + stdev.toArray()[0], 1.0, Imgproc.THRESH_BINARY_INV);
    Mat converted = new Mat();
    thresholded_bin.convertTo(converted, CV_8UC1);
    */

    Mat converted = new Mat();
    thresholded.convertTo(converted, CV_8UC1);
    return converted;

【讨论】：

饱和通道在这种情况下不是很好的选择。当我改用值通道或灰度转换图像时，我得到了好的结果+我还必须降低阈值（仅平均值而不是平均值+标准差）。在运行此代码之前，您可能需要某种算法来自动确定要使用的图像通道...

【参考方案2】：

通过计算输入图像的梯度绝对值的近似值，我设法获得了非常漂亮的边缘图像。

编辑：在开始工作之前，我将输入图像的大小调整为小 5 倍。 Click here to see it!。如果您在该图像上使用我的代码，结果会很好。如果您想让我的代码与原始大小的图像很好地配合，那么：

将高斯核大小和 sigma 乘以 5，或 将图像下采样 5 倍，执行算法，然后将结果上采样 5 倍（这应该比第一个选项快得多）

这是我得到的结果：

我的程序依赖于两个关键功能。首先是转换为适当的色彩空间。 As Jeru Luke stated in his answer ，HSV色彩空间中的饱和度通道是这里不错的选择。第二个重要的事情是梯度绝对值的估计。为此，我使用了 sobel 运算符和一些算术。如果有人要求，我可以提供额外的解释。

这是我用来获取第一张图片的代码。

using namespace std;
using namespace cv;

Mat img_rgb = imread("letter.jpg");

Mat img_hsv;
cvtColor(img_rgb, img_hsv, CV_BGR2HSV);
vector<Mat> channels_hsv;
split(img_hsv, channels_hsv);

Mat channel_s = channels_hsv[1];
GaussianBlur(channel_s, channel_s, Size(9, 9), 2, 2);

Mat imf;
channel_s.convertTo(imf, CV_32FC1, 0.5f, 0.5f);

Mat sobx, soby;
Sobel(imf, sobx, -1, 1, 0);
Sobel(imf, soby, -1, 0, 1);

sobx = sobx.mul(sobx);
soby = soby.mul(soby);

Mat grad_abs_val_approx;
cv::pow(sobx + soby, 0.5, grad_abs_val_approx);

Mat filtered;
GaussianBlur(grad_abs_val_approx, filtered, Size(9, 9), 2, 2);

Scalar mean, stdev;
meanStdDev(filtered, mean, stdev);

Mat thresholded;
cv::threshold(filtered, thresholded, mean.val[0] + stdev.val[0], 1.0, CV_THRESH_TOZERO);

// I scale the image at this point so that it is displayed properly 
imshow("image", thresholded/50);

这就是我计算第二张图像的方式：

Mat thresholded_bin;
cv::threshold(filtered, thresholded_bin, mean.val[0] + stdev.val[0], 1.0, CV_THRESH_BINARY);

Mat converted;
thresholded_bin.convertTo(converted, CV_8UC1);

vector<vector<Point>> contours;
findContours(converted, contours, CV_RETR_LIST, CV_CHAIN_APPROX_NONE);

Mat contour_img = Mat::zeros(converted.size(), CV_8UC1);
drawContours(contour_img, contours, -1, 255);

imshow("contours", contour_img);

【讨论】：

感谢您的解决方案。这就是我想要的。我在上面添加了评论。

@ctbcorp 关于问题 1)：我在帖子开头添加了“编辑”部分。关于问题 2) 我注意到两个错误 - 在调用函数 meanStdDev 和 threshold 时，您传递了 grad_abs_val_approx 而不是 filtered 作为参数。关于问题 3)：当我将两个数组相乘并计算它们总和的平方根时，我这样做了：sqrt(a² + b²)。如果 a 和 b 是 x 和 y 方向梯度的近似值，则结果就是梯度幅度。

感谢您提供此信息。我刚刚在更新我的帖子后看到了你的评论。我会用你提供的新信息再试一次。

谢谢，你的笔记帮助我使它适用于我的大部分用例。我发布了有效的代码部分和无效的图像示例。如果您有想法，这会有所帮助。

@Nejc 有人试图解决同样的问题。我正在努力提供帮助。您是否知道为什么您提出的解决方案不适用于以下两个图像：i.stack.imgur.com/2PeyG.jpg 和 i.stack.imgur.com/qEFMj.jpg？