OpenCV竟然可以这样学！成神之路终将不远（三十三）

Posted 2021-07-04 满目星辰wwq

返回目录

目录

33 哈里斯角检测

33.1 目标

33.2 理论

33.3 OpenCV中的哈里斯角检测

33.4 SubPixel精度的转角

---

33 哈里斯角检测

33.1 目标

在本章中， - 我们将了解”Harris Corner Detection”背后的概念。 - 我们将看到以下函数：

• cv.cornerHarris()
• cv.cornerSubPix()

33.2 理论

在上一章中，我们看到角是图像中各个方向上强度变化很大的区域。Chris Harris和Mike Stephens在1988年的论文《组合式拐角和边缘检测器》中做了一次尝试找到这些拐角的尝试，所以现在将其称为哈里斯拐角检测器。他把这个简单的想法变成了数学形式。它基本上找到了(u，v)在所有方向上位移的强度差异。表示如下：

窗口函数要么是一个矩形窗口,要么是高斯窗口,它在下面赋予了值。

我们必须最大化这个函数E(u,v)用于角检测。这意味着,我们必须最大化第二个项。将泰勒扩展应用于上述方程,并使用一些数学步骤(请参考任何你喜欢的标准文本书),我们得到最后的等式:

其中：

在此，I_x和I_y分别是在x和y方向上的图像导数。（可以使用cv.Sobel()轻松找到）。

然后是主要部分。之后，他们创建了一个分数，基本上是一个等式，它将确定一个窗口是否可以包含一个角。

其中，以下三项是是 M 的特征值。

• 
• 
• 

因此，这些特征值的值决定了区域是拐角，边缘还是平坦。

• 当|R|较小，这在和较小时发生，该区域平坦。
• 当R<0时（当时发生，反之亦然），该区域为边。
• 当R很大时，这发生在和大且~时，该区域是角。

可以用如下图来表示：

因此，Harris Corner Detection的结果是具有这些分数的灰度图像。合适的阈值可为您提供图像的各个角落。我们将以一个简单的图像来完成它。

33.3 OpenCV中的哈里斯角检测

为此，OpenCV具有函数cv.cornerHarris()。其参数为：

• img - 输入图像，应为灰度和float32类型。
• blockSize - 是拐角检测考虑的邻域大小。
• ksize - 使用的Sobel导数的光圈参数。
• k - 等式中的哈里斯检测器自由参数。

请参阅以下示例：

import numpy as np
import cv2 as cv

filename = 'chessboard.jpg'
img = cv.imread(filename)
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
gray = np.float32(gray)
dst = cv.cornerHarris(gray, 2, 3, 0.04)
# result用于标记角点，并不重要
dst = cv.dilate(dst, None)
# 最佳值的阈值，它可能因图像而异
img[dst > 0.01 * dst.max()] = [0, 0, 255]
cv.imshow('dst', img)
if cv.waitKey(0) & 0xff == 27:
    cv.destroyAllWindows()

运行结果如下：

33.4 SubPixel精度的转角

有时，你可能需要找到最精确的角落。OpenCV附带了一个函数cv.cornerSubPix()，它进一步细化了以亚像素精度检测到的角落。下面是一个例子。和往常一样，我们需要先找到哈里斯角。然后我们通过这些角的质心(可能在一个角上有一堆像素，我们取它们的质心)来细化它们。Harris角用红色像素标记，精制角用绿色像素标记。对于这个函数，我们必须定义何时停止迭代的条件。我们在特定的迭代次数或达到一定的精度后停止它，无论先发生什么。我们还需要定义它将搜索角落的邻居的大小。

import numpy as np
import cv2 as cv

filename = 'chessboard2.jpg'
img = cv.imread(filename)
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)

# 寻找哈里斯角
gray = np.float32(gray)
dst = cv.cornerHarris(gray, 2, 3, 0.04)
# dst用于标记角点，并不重要
dst = cv.dilate(dst, None)
ret, dst = cv.threshold(dst, 0.01 * dst.max(), 255, 0)
dst = np.uint8(dst)
# 寻找质心
ret, labels, stats, centroids = cv.connectedComponentsWithStats(dst)
# 定义停止和完善拐角的条件
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 100, 0.001)
corners = cv.cornerSubPix(gray, np.float32(centroids), (5, 5), (-1, -1), criteria)
# 绘制
res = np.hstack((centroids, corners))
res = np.int0(res)
img[res[:, 1], res[:, 0]] = [0, 0, 255]
img[res[:, 3], res[:, 2]] = [0, 255, 0]
cv.imwrite('subpixel5.jpg', img)

以下是结果，其中一些重要位置显示在缩放窗口中以可视化（PS：什么鬼，我的为什么就啥都没有变化）：

---

欢迎评论区留言，一起探讨OpenCV成神之路的奥秘。

顺便给我加个关注，点个赞，加个收藏，让我们一起登上神坛。