在 Python 中使用 OpenCV 访问轮廓边界内的像素值

Posted 2023-02-23

【中文标题】在 Python 中使用 OpenCV 访问轮廓边界内的像素值

【英文标题】：Access pixel values within a contour boundary using OpenCV in Python

【发布时间】：2016-01-18 23:27:39

【问题描述】：

我在 Python 2.7.9 上使用 OpenCV 3.0.0。我正在尝试在具有静止背景的视频中跟踪一个对象，并估计它的一些属性。由于图像中可能有多个移动对象，因此我希望能够区分它们并在视频的剩余帧中单独跟踪它们。

我认为可以做到这一点的一种方法是将图像转换为二进制，获取 blob（在本例中为被跟踪对象）的轮廓并获取对象边界的坐标。然后我可以转到灰度图像中的这些边界坐标，获取由该边界包围的像素强度，并在其他帧中跟踪此颜色渐变/像素强度。这样，我可以将两个对象彼此分开，这样它们就不会被视为下一帧中的新对象。

我有轮廓边界坐标，但我不知道如何检索该边界内的像素强度。有人可以帮我吗？

谢谢！

【问题讨论】：

cv2.findContours 当然可以为您完成这项工作，它会返回每个轮廓的(x,y) 坐标列表。然后，您可以使用这些坐标来索引您的图像并获取正确的强度。但是，我不确定您希望如何存储这些强度。你只想要一个单一的一维强度数组吗？你想把它们戴在某种面具里吗？您能否详细说明您希望如何存储这些强度？

我使用cv2.findContours 找到了轮廓点，并将它们存储在一个数组中。我只想要该边界内所有像素的一维强度值数组。另外，我不确定我应该如何索引。你能解释一下吗？

我使用了for 循环来索引cv2.findContours 的输出。然后我只是使用pxlVal = img[x, y] 来获取对象边界（轮廓）上的像素值。我如何获得边界内的像素？

看看我的回答。

嘿@rayryreg 请在这里检查我的问题 [***.com/questions/36861334/…

【参考方案1】：

使用我们的 cmets，您可以创建一个 numpy 数组列表，其中每个元素是描述每个对象轮廓内部的强度。具体来说，对于每个轮廓，创建一个填充轮廓内部的二进制掩码，找到填充对象的(x,y) 坐标，然后索引到您的图像并获取强度。

我不知道您是如何设置代码的，但我们假设您有一张名为img 的灰度图像。您可能需要将图像转换为灰度图像，因为cv2.findContours 适用于灰度图像。有了这个，正常拨打cv2.findContours：

import cv2
import numpy as np

#... Put your other code here....
#....

# Call if necessary
#img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# Call cv2.findContours
contours,_ = cv2.findContours(img, cv2.RETR_LIST, cv2.cv.CV_CHAIN_APPROX_NONE)

contours 现在是 3D numpy 数组的列表，其中每个数组的大小为 N x 1 x 2，其中 N 是每个对象的轮廓点总数。

因此，您可以像这样创建我们的列表：

# Initialize empty list
lst_intensities = []

# For each list of contour points...
for i in range(len(contours)):
    # Create a mask image that contains the contour filled in
    cimg = np.zeros_like(img)
    cv2.drawContours(cimg, contours, i, color=255, thickness=-1)

    # Access the image pixels and create a 1D numpy array then add to list
    pts = np.where(cimg == 255)
    lst_intensities.append(img[pts[0], pts[1]])

对于每个轮廓，我们创建一个空白图像，然后在该空白图像中绘制填充轮廓。您可以通过将thickness 参数指定为-1 来填充轮廓占据的区域。我将轮廓的内部设置为 255。之后，我们使用numpy.where 来查找数组中符合特定条件的所有行和列位置。在我们的例子中，我们想要找到等于 255 的值。之后，我们使用这些点来索引我们的图像，以获取轮廓内部的像素强度。

lst_intensities 包含一维numpy 数组列表，其中每个元素为您提供属于每个对象轮廓内部的强度。要访问每个数组，只需执行lst_intensities[i]，其中i 是您要访问的轮廓。

【讨论】：

@Kaya311 - 完全没问题。祝你好运！

嗨，我正在做同样的事情，但收到错误error: (-215) npoints > 0 in function drawContours 这是因为我的轮廓点是浮动的吗？

@itsnotme 可能。绘图函数直接作用于图像坐标，因此浮点值没有意义。

@rayryeng 我猜这意味着我不能使用 openCV 来完成选择轮廓内像素的目标。您对我如何以其他方式完成同样的事情有什么建议吗？

@itsnotme 如果您不太关心精度，请将坐标转换为整数，然后再次尝试该函数。还要记住，轮廓的预期格式是N x 1 x 2 numpy 数组的列表。

【参考方案2】：

@rayryeng 的回答非常好！

我的实现中的一件小事是： np.where() 返回一个元组，其中包含一个行索引数组和一个列索引数组。所以，pts[0] 包含row indices 的列表，对应于图像的高度，pts[1] 包含column indices 的列表，对应于图像的宽度。 img.shape 返回 (rows, cols, channels)。所以我觉得应该是img[pts[0], pts[1]]把img后面的ndarray切片。

【讨论】：

OpenCV 中对其方法使用的约定是保持x 坐标是水平的，而y 坐标是垂直的。这就是为什么在我上面的代码中翻转符号的原因。它更多是为了与 OpenCV 兼容，而不是访问实际像素本身。

感谢您的 cmets，@rayryeng！

感谢您的 cmets，@rayryeng！当您说x 坐标是水平的时，这是否意味着返回的轮廓包含“列索引”作为元组中的第一个元素？当我使用你的想法时，img[pts[0], pts[1]] 为我工作；但是img[pts[1], pts[0]] 引发了“超出范围”的索引错误。这背后可能的原因是什么？

其实你是对的。我需要更改我的帖子。我道歉。投我一票。

【参考方案3】：

很抱歉，我无法在第一个正确答案中将此作为评论添加，因为我没有足够的声誉来这样做。

实际上，上面的漂亮代码有一点改进： 我们可以跳过获取点的行，因为灰度图像和 np.zeros 临时图像具有相同的形状，我们可以直接在括号内使用“位置”。像这样的：

# (...) opening image, converting into grayscale, detect contours (...)
intensityPer = 0.15
for c in contours:
    temp = np.zeros_like(grayImg)
    cv2.drawContours(temp, [c], 0, (255,255,255), -1)
    if np.mean(grayImg[temp==255]) > intensityPer*255:
        pass # here your code

通过这个样本，我们确保轮廓内区域的平均强度至少是最大强度的 15%

【讨论】：

也许我错了，请在这种情况下让我知道，除了降级答案之外，我也可以修复我的代码，谢谢！

作为最佳答案，即使被接受的答案也会改变，请参考@rayryeng的答案。这样，添加一个支持另一个答案的答案是完全可以的。如此复杂的发展对于答案来说太复杂了。最佳