如何分割弯曲杆以进行角度计算？

Posted 2023-04-17

【中文标题】如何分割弯曲杆以进行角度计算？

【英文标题】：How to segment bent rod for angle calculations?

【发布时间】：2018-01-19 00:23:20

【问题描述】：

我正在尝试使用 OpenCV 从背景中分割弯曲的杆，然后找到其中的弯曲并计算每个弯曲之间的角度。

幸运的是，第一部分是微不足道的，前景和背景之间有足够的对比。 分割时，一点腐蚀/膨胀会处理反射/高光。

第二部分是我不知道如何处理它的地方。

我可以轻松检索轮廓（顶部和底部非常相似，所以两者都可以）， 但我似乎无法弄清楚如何将轮廓分割成直线部分和弯曲杆来计算角度。

到目前为止，我已经尝试过简单化轮廓，但是我得到的点太多或太少，并且很难确定正确的位置 设置以保持直线部分笔直并简化弯曲部分。

这是我的输入图像（bend.png）

这是我迄今为止尝试过的：

#!/usr/bin/env python
import numpy as np
import cv2

threshold = 229
# erosion/dilation kernel
kernel = np.ones((5,5),np.uint8)
# contour simplification
epsilon = 0

# slider callbacks
def onThreshold(x):
    global threshold
    print "threshold = ",x
    threshold = x
def onEpsilon(x):
    global epsilon
    epsilon = x * 0.01
    print "epsilon = ",epsilon

# make a window to add sliders/preview to
cv2.namedWindow('processed')
#make some sliders
cv2.createTrackbar('threshold','processed',60,255,onThreshold)
cv2.createTrackbar('epsilon','processed',1,1000,onEpsilon)
# load image
img = cv2.imread('bend.png',0)
# continuously process for quick feedback
while 1:
    # exit on ESC key
    k = cv2.waitKey(1) & 0xFF
    if k == 27:
        break

    # Threshold
    ret,processed = cv2.threshold(img,threshold,255,0)
    # Invert
    processed = (255-processed)
    # Dilate
    processed = cv2.dilate(processed,kernel)
    processed = cv2.erode(processed,kernel)
    # Canny
    processed = cv2.Canny(processed,100,200)

    contours, hierarchy = cv2.findContours(processed,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
    if len(contours) > 0:
        approx = cv2.approxPolyDP(contours[0],epsilon,True)
        # print len(approx)
        cv2.drawContours(processed, [approx], -1, (255,255,255), 3)
        demo = img.copy()
        cv2.drawContours(demo, [approx], -1, (192,0,0), 3)
    # show result
    cv2.imshow('processed ',processed)
    cv2.imshow('demo ',demo)


# exit
cv2.destroyAllWindows()

这是我到目前为止所得到的，但我不相信这是最好的方法：

我试图从视觉上弄清楚这一点，而我的目标是沿着这些思路：

因为最终目标是计算弯曲部件之间的角度，所以这样感觉更简单：

我假设拟合线并计算相交线对之间的角度是可行的：

我使用HoughLines OpenCV Python tutorial 进行了快速测试，但无论传递的参数如何，我都没有得到很好的结果：

#!/usr/bin/env python
import numpy as np
import cv2

threshold = 229
minLineLength = 30
maxLineGap = 10
houghThresh = 15

# erosion/dilation kernel
kernel = np.ones((5,5),np.uint8)

# slider callbacks
def onMinLineLength(x):
    global minLineLength
    minLineLength = x
    print "minLineLength = ",x

def onMaxLineGap(x):
    global maxLineGap
    maxLineGap = x
    print "maxLineGap = ",x

def onHoughThresh(x):
    global houghThresh
    houghThresh = x
    print "houghThresh = ",x

# make a window to add sliders/preview to
cv2.namedWindow('processed')
#make some sliders
cv2.createTrackbar('minLineLength','processed',1,50,onMinLineLength)
cv2.createTrackbar('maxLineGap','processed',5,30,onMaxLineGap)
cv2.createTrackbar('houghThresh','processed',15,50,onHoughThresh)
# load image
img = cv2.imread('bend.png',0)
# continuously process for quick feedback
while 1:
    # exit on ESC key
    k = cv2.waitKey(1) & 0xFF
    if k == 27:
        break

    # Threshold
    ret,processed = cv2.threshold(img,threshold,255,0)
    # Invert
    processed = (255-processed)
    # Dilate
    processed = cv2.dilate(processed,kernel)
    processed = cv2.erode(processed,kernel)
    # Canny
    processed = cv2.Canny(processed,100,200)

    lineBottom = np.zeros(img.shape,np.uint8)

    contours, hierarchy = cv2.findContours(processed,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
    if len(contours) > 0:
        cv2.drawContours(lineBottom, contours, 0, (255,255,255), 1)

    # HoughLinesP
    houghResult = img.copy()
    lines = cv2.HoughLinesP(lineBottom,1,np.pi/180,houghThresh,minLineLength,maxLineGap)
    try:
        for x in range(0, len(lines)):
            for x1,y1,x2,y2 in lines[x]:
                cv2.line(houghResult,(x1,y1),(x2,y2),(0,255,0),2)
    except Exception as e:
        print e

    # show result
    cv2.imshow('lineBottom',lineBottom)
    cv2.imshow('houghResult ',houghResult)


# exit
cv2.destroyAllWindows()

这是一种可行的方法吗？如果是这样，在 OpenCV Python 中进行线拟合的正确方法是什么？

否则，这是解决这个问题的最佳方法吗？

更新 按照 Miki 的建议，我尝试了 OpenCV 3 的 LSD，得到了比 HoughLinesP 更好的结果，但看起来仍然需要一些调整，尽管它看起来与 @987654342 不同@ 没有太多选择可以玩：

【问题讨论】：

我用 approxPolyDP 做了一些非常相似的事情，最终合并了几乎共线的后续段/短段。

另一种方法是使用 LSD（线段检测器）...我没用过，但值得一试

@Miki 听起来很有趣。我从 approxPolyDP 开始，但不知道下一步该做什么。所以你基本上循环了线，如果线对之间的角度差低于阈值，你将它们合并成一条线，对吧？

@Miki 是this 你的意思是什么LSD？ （在这种情况下必须获得 OpenCV 3.0 Python 设置，目前仍在 2.4.13 上）

两个很棒的建议！我会给他们一个机会，谢谢:)

【参考方案1】：

使用曲率来查找线段可能很方便。这里example 通过最小曲率点分割轮廓，在您的情况下使用最大曲率点可能会更好。 B 你可以将你的曲线分割成几部分，然后使用 RANSAC 方法将每个部分近似为线段。

【讨论】：

这看起来很有趣，谢谢（+1）！我将移植我的小演示 ​​c++，看看它是如何进行的。

【参考方案2】：

我知道这是旧的，但在遇到类似问题后我发现了这个 我使用的方法（在找到二进制图像后）是这样的：

寻找终点（邻居最少的点） skeletonize（可选） 使用 skimage cdist 从一端开始查找最近的点 对这些点执行线性回归，并在最佳拟合线的几个像素误差范围内找到图像中的所有点。我用query_ball_point 这会在同一直线内提供其他点。按与最后一个基准点的距离对它们进行排序。其中一些可能是线在对象远处的投影，应该删除。 重复第 4 步和第 5 步，直到不再添加任何点。 一旦没有更多的点被添加到线上，您可以通过查看 R 平方来找到下一条有效线的起点以进行拟合。这条线应该有非常高的 R 平方，例如。 > 0.95（取决于图像 - 我得到 > 0.99）。不断改变起点，直到达到高 R 平方。 这给出了一堆线段，从中可以很容易地找到它们之间的角度。当线段垂直（或水平）且斜率变为无限时，会出现一个潜在问题。发生这种情况时，我只是将轴翻转过来。您还可以通过定义一条线的端点并在 threshold distance from that line 中查找所有点来解决此问题，而不是进行回归。

与使用建议的其他方法相比，这涉及更多的编码，但执行时间很快，并且可以更好地控制正在发生的事情。

【参考方案3】：

获得轮廓后，您可以使用本文提出的方法对其进行分析：https://link.springer.com/article/10.1007/s10032-011-0175-3

基本上，跟踪轮廓计算每个点的曲率。 然后您可以使用曲率阈值将轮廓分割成直线和曲线部分。