高级正方形检测(具有连接区域)
Posted
技术标签:
【中文标题】高级正方形检测(具有连接区域)【英文标题】:Advanced square detection (with connected region) 【发布时间】:2013-02-06 12:14:06 【问题描述】:如果正方形在图像中有连接区域,我如何检测它们。
我已经测试了中提到的方法 OpenCV C++/Obj-C: Advanced square detection
效果不好。
有什么好主意吗?
import cv2
import numpy as np
def angle_cos(p0, p1, p2):
d1, d2 = (p0-p1).astype('float'), (p2-p1).astype('float')
return abs( np.dot(d1, d2) / np.sqrt( np.dot(d1, d1)*np.dot(d2, d2) ) )
def find_squares(img):
squares = []
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# cv2.imshow("gray", gray)
gaussian = cv2.GaussianBlur(gray, (5, 5), 0)
temp,bin = cv2.threshold(gaussian, 80, 255, cv2.THRESH_BINARY)
# cv2.imshow("bin", bin)
contours, hierarchy = cv2.findContours(bin, cv2.RETR_CCOMP, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours( gray, contours, -1, (0, 255, 0), 3 )
#cv2.imshow('contours', gray)
for cnt in contours:
cnt_len = cv2.arcLength(cnt, True)
cnt = cv2.approxPolyDP(cnt, 0.02*cnt_len, True)
if len(cnt) == 4 and cv2.contourArea(cnt) > 1000 and cv2.isContourConvex(cnt):
cnt = cnt.reshape(-1, 2)
max_cos = np.max([angle_cos( cnt[i], cnt[(i+1) % 4], cnt[(i+2) % 4] ) for i in xrange(4)])
if max_cos < 0.1:
squares.append(cnt)
return squares
if __name__ == '__main__':
img = cv2.imread('123.bmp')
#cv2.imshow("origin", img)
squares = find_squares(img)
print "Find %d squres" % len(squares)
cv2.drawContours( img, squares, -1, (0, 255, 0), 3 )
cv2.imshow('squares', img)
cv2.waitKey()
我在opencv例子中使用了一些方法,但是效果不好。
【问题讨论】:
【参考方案1】:基于距离变换应用分水岭变换将分离对象:
在边界处处理对象总是有问题的,并且经常被丢弃,所以左上角的粉红色矩形没有分开根本不是问题。
给定一个二值图像,我们可以应用距离变换 (DT) 并从中获取分水岭的标记。理想情况下,应该有一个现成的函数来寻找区域最小值/最大值,但由于它不存在,我们可以对如何阈值 DT 做出适当的猜测。基于标记我们可以使用分水岭进行分割,问题就解决了。现在您可以担心区分矩形组件和非矩形组件了。
import sys
import cv2
import numpy
import random
from scipy.ndimage import label
def segment_on_dt(img):
dt = cv2.distanceTransform(img, 2, 3) # L2 norm, 3x3 mask
dt = ((dt - dt.min()) / (dt.max() - dt.min()) * 255).astype(numpy.uint8)
dt = cv2.threshold(dt, 100, 255, cv2.THRESH_BINARY)[1]
lbl, ncc = label(dt)
lbl[img == 0] = lbl.max() + 1
lbl = lbl.astype(numpy.int32)
cv2.watershed(cv2.cvtColor(img, cv2.COLOR_GRAY2BGR), lbl)
lbl[lbl == -1] = 0
return lbl
img = cv2.cvtColor(cv2.imread(sys.argv[1]), cv2.COLOR_BGR2GRAY)
img = cv2.threshold(img, 0, 255, cv2.THRESH_OTSU)[1]
img = 255 - img # White: objects; Black: background
ws_result = segment_on_dt(img)
# Colorize
height, width = ws_result.shape
ws_color = numpy.zeros((height, width, 3), dtype=numpy.uint8)
lbl, ncc = label(ws_result)
for l in xrange(1, ncc + 1):
a, b = numpy.nonzero(lbl == l)
if img[a[0], b[0]] == 0: # Do not color background.
continue
rgb = [random.randint(0, 255) for _ in xrange(3)]
ws_color[lbl == l] = tuple(rgb)
cv2.imwrite(sys.argv[2], ws_color)
从上图中,您可以考虑在每个组件中拟合椭圆以确定矩形。然后您可以使用一些度量来定义组件是否为矩形。这种方法更有可能适用于完全可见的矩形,并且对于部分可见的矩形可能会产生不好的结果。下图显示了这种方法的结果,如果拟合椭圆的矩形在组件面积的 10% 以内,则组件是矩形。
# Fit ellipse to determine the rectangles.
wsbin = numpy.zeros((height, width), dtype=numpy.uint8)
wsbin[cv2.cvtColor(ws_color, cv2.COLOR_BGR2GRAY) != 0] = 255
ws_bincolor = cv2.cvtColor(255 - wsbin, cv2.COLOR_GRAY2BGR)
lbl, ncc = label(wsbin)
for l in xrange(1, ncc + 1):
yx = numpy.dstack(numpy.nonzero(lbl == l)).astype(numpy.int64)
xy = numpy.roll(numpy.swapaxes(yx, 0, 1), 1, 2)
if len(xy) < 100: # Too small.
continue
ellipse = cv2.fitEllipse(xy)
center, axes, angle = ellipse
rect_area = axes[0] * axes[1]
if 0.9 < rect_area / float(len(xy)) < 1.1:
rect = numpy.round(numpy.float64(
cv2.cv.BoxPoints(ellipse))).astype(numpy.int64)
color = [random.randint(60, 255) for _ in xrange(3)]
cv2.drawContours(ws_bincolor, [rect], 0, color, 2)
cv2.imwrite(sys.argv[3], ws_bincolor)
【讨论】:
是的,真的,非常好的方法,+1。将图像索引转换为正确的格式非常繁琐,我曾经使用您在此处显示的相同 zip 解压缩方法,但我最近意识到它可能比转置和复制要慢很多(速度应该很重要..)不幸的是,似乎需要复制以避免opencv异常(至少对我而言).. 不同之处在于numpy默认使用(y, x)
坐标,而OpenCV需要(x, y)
。 @fraxel 我没有测量性能,但更新后的代码可能在那个特定点上更好。
@mmgp - 是的,我知道,这该死的烦人 - 但再次感谢,您的更新帮助了我!它比你以前的方法快很多,我的也是。我将在未来使用它,.. 和分水岭(如果我需要它..):)
@Yang 你知道接受的答案并没有以任何方式解决问题吗?首先,它将每个组件标识为一个矩形,无论它们是什么。其次,它任意侵蚀n
次以断开组件,这只是等待失败。我不知道什么对你来说太慢了,从来没有提到过,它对我来说已经足够快了。
@mmgp 感谢您的回答,我使用了您的代码,在我的计算机上大约需要 30 秒,结果真的很棒!处理部分可见的矩形也有一些问题,我认为侵蚀方式几乎可以检测到位置,然后我扩展了4个点,比如在原始图片中每次添加1个像素,以更准确地拟合矩形,这样能解决腐蚀小问题吗?再次感谢您的帮助。【参考方案2】:
解决方案 1:
扩大您的图像以删除连接的组件。 查找检测到的组件的轮廓。通过引入一些度量(例如比率周长/面积)来消除不是矩形的轮廓。
此解决方案不会检测连接到边框的矩形。
解决方案 2:
扩张以删除连接的组件。 寻找轮廓。 近似轮廓以减少其点(矩形轮廓应为 4 点)。 检查轮廓线之间的角度是否为 90 度。 消除没有 90 度的轮廓。
这应该可以解决矩形连接到边框的问题。
【讨论】:
【参考方案3】:你有三个问题:
-
矩形不是非常严格的矩形(边缘通常有些弯曲)
有很多。
它们经常相连。
看起来你所有的矩形基本上都是相同的大小(?),并且没有很大的重叠,但是预处理已经将它们连接起来。
对于这种情况,我会尝试的方法是:
-
dilate 你的图片几次(@krzych 也建议) - 这将删除连接,但会导致略小的矩形。
将 scipy 用于 label 和 find_objects - 您现在知道图像中每个剩余 blob 的位置和切片。
使用minAreaRect 查找每个矩形的中心、方向、宽度和高度。
您可以使用第 3 步。通过其面积、尺寸比或与边缘的接近程度来测试 blob 是否为有效矩形。
这是一个很好的方法,因为我们假设每个 blob 都是一个矩形,所以minAreaRect
将找到我们最小封闭矩形的参数。此外,如果绝对必要,我们可以使用 humoments
之类的东西来测试每个 blob。
这是我在行动中的建议,边界碰撞匹配以红色显示。
代码:
import numpy as np
import cv2
from cv2 import cv
import scipy
from scipy import ndimage
im_col = cv2.imread('jdjAf.jpg')
im = cv2.imread('jdjAf.jpg',cv2.CV_LOAD_IMAGE_GRAYSCALE)
im = np.where(im>100,0,255).astype(np.uint8)
im = cv2.erode(im, None,iterations=8)
im_label, num = ndimage.label(im)
for label in xrange(1, num+1):
points = np.array(np.where(im_label==label)[::-1]).T.reshape(-1,1,2).copy()
rect = cv2.minAreaRect(points)
lines = np.array(cv2.cv.BoxPoints(rect)).astype(np.int)
if any([np.any(lines[:,0]<=0), np.any(lines[:,0]>=im.shape[1]-1), np.any(lines[:,1]<=0), np.any(lines[:,1]>=im.shape[0]-1)]):
cv2.drawContours(im_col,[lines],0,(0,0,255),1)
else:
cv2.drawContours(im_col,[lines],0,(255,0,0),1)
cv2.imshow('im',im_col)
cv2.imwrite('rects.png',im_col)
cv2.waitKey()
我认为@mmgp 演示的Watershed
和distanceTransform
方法显然更适合分割图像,但这种简单的方法可能会根据您的需要而有效。
【讨论】:
非常感谢,我觉得这个方法比分水岭方法快,可以给代码一些意见吗?像“ndimage.label”是什么意思?还有“np.array(np.where(im_label==label)[::-1]).T.reshape(-1,1,2).copy()”?谢谢你的回答~ 还有 "any([np.any(lines[:,0]=im.shape[1]-1), np.any(lines[:,1]=im.shape[0]-1)])" 我不太明白。谢谢! @Yang - 嘿,这里有一个镜头:ndimage.label(im)
用于分割图像:每个未连接的 blob 值都被一个整数顺序替换,从而产生一个新的标记图像im_label
。 np.where(im_label==label)
采用这个新的标记图像并返回该图像中等于标签的每个像素的索引 - 即。单个 blob 的所有索引值 - 请注意,我们正在遍历 blob,一次只考虑一个标签值。 .T.reshape(-1,1,2).copy()
是将数据转换为正确格式以被 minAreaRect
接受的小提琴
@Yang - any
是一个逻辑运算符,相当于链式or
的。其中的条件是检查是否有任何矩形点落在图像区域之上或之外,因为如果它们落在图像区域上或之外,那么我们就知道它是一个边界矩形,所以我们将它涂成红色,或者可以丢弃它,或者其他什么。 .. 希望有帮助 ;)以上是关于高级正方形检测(具有连接区域)的主要内容,如果未能解决你的问题,请参考以下文章