使用 CSV 格式的框存储 Tensorflow 对象检测 API 图像输出
Posted
技术标签:
【中文标题】使用 CSV 格式的框存储 Tensorflow 对象检测 API 图像输出【英文标题】:Store Tensorflow object detection API image output with boxes in CSV format 【发布时间】:2018-06-28 20:19:26 【问题描述】:我指的是 Google 的 Tensor-Flow 对象检测 API。我已经成功地训练和测试了这些对象。我的问题是在测试后我得到输出图像,在对象周围绘制了框,我如何获得这些框的 csv 坐标?测试代码可以在 (https://github.com/tensorflow/models/blob/master/research/object_detection/object_detection_tutorial.ipynb) 上找到
如果我看到辅助代码,它会将图像加载到 numpy 数组中:
def load_image_into_numpy_array(image):
(im_width, im_height) = image.size
return np.array(image.getdata()).reshape(
(im_height, im_width, 3)).astype(np.uint8)
在检测中,它采用这个图像数组并给出如下绘制的框输出
with detection_graph.as_default():
with tf.Session(graph=detection_graph) as sess:
# Definite input and output Tensors for detection_graph
image_tensor = detection_graph.get_tensor_by_name('image_tensor:0')
# Each box represents a part of the image where a particular object was detected.
detection_boxes = detection_graph.get_tensor_by_name('detection_boxes:0')
# Each score represent how level of confidence for each of the objects.
# Score is shown on the result image, together with the class label.
detection_scores = detection_graph.get_tensor_by_name('detection_scores:0')
detection_classes = detection_graph.get_tensor_by_name('detection_classes:0')
num_detections = detection_graph.get_tensor_by_name('num_detections:0')
for image_path in TEST_IMAGE_PATHS:
image = Image.open(image_path)
# the array based representation of the image will be used later in order to prepare the
# result image with boxes and labels on it.
image_np = load_image_into_numpy_array(image)
# Expand dimensions since the model expects images to have shape: [1, None, None, 3]
image_np_expanded = np.expand_dims(image_np, axis=0)
# Actual detection.
(boxes, scores, classes, num) = sess.run(
[detection_boxes, detection_scores, detection_classes, num_detections],
feed_dict=image_tensor: image_np_expanded)
# Visualization of the results of a detection.
vis_util.visualize_boxes_and_labels_on_image_array(
image_np,
np.squeeze(boxes),
np.squeeze(classes).astype(np.int32),
np.squeeze(scores),
category_index,
use_normalized_coordinates=True,
line_thickness=8)
plt.figure(figsize=IMAGE_SIZE)
plt.imshow(image_np)
我想将这些绿色框的坐标存储在一个 csv 文件中。有什么方法可以做到这一点?
【问题讨论】:
它将值存储在一个名为“boxes”的变量中。我输出变量“盒子”的结果。图3.6442898C-01 7.64498098C-01 7.6442898C-01 7.6442898C-01 7.6442898CS-01 7.64429898CS-01 7.648989898C-01 7.64429098C-01 7.6442498C-01] e-02 9.45716262e-01] 这些值对我来说没有意义,我们可以从这些数字中提取数据吗? 【参考方案1】:boxes
数组 ([ymin, xmin, ymax, xmax]
) 中的坐标已标准化。因此,您必须将它们与图像的宽度/高度相乘才能获得原始值。
为此,您可以执行以下操作:
for box in np.squeeze(boxes):
box[0] = box[0] * heigh
box[1] = box[1] * width
box[2] = box[2] * height
box[3] = box[3] * width
然后您可以使用 numpy.savetxt() 方法将这些框保存到您的 csv 中:
import numpy as np
np.savetxt('yourfile.csv', boxes, delimiter=',')
编辑:
正如 cmets 中所指出的,上面的方法给出了一个框坐标列表。这是因为盒子张量保存了每个检测到的区域的坐标。假设您使用默认的置信度接受阈值 0.5,对我来说一个快速的解决方法如下:
for i, box in enumerate(np.squeeze(boxes)):
if(np.squeeze(scores)[i] > 0.5):
print("ymin=, xmin=, ymax=, xmax".format(box[0]*height,box[1]*width,box[2]*height,box[3]*width))
这应该打印四个值,而不是四个框。每个值代表边界框的一个角。
如果您使用其他置信度接受阈值,则必须调整此值。也许你可以解析这个参数的模型配置。
要将坐标存储为 CSV,您可以执行以下操作:
new_boxes = []
for i, box in enumerate(np.squeeze(boxes)):
if(np.squeeze(scores)[i] > 0.5):
new_boxes.append(box)
np.savetxt('yourfile.csv', new_boxes, delimiter=',')
【讨论】:
根据我的搜索,这些是标准化形式的 [xmin,ymin,xmax,ymax],为简化起见,我只用一个对象拍摄了一张图像,并在该对象周围输出一个框。我应该为框的四个角获得 4 个数组 [xmin1, ymin1, xmax1, ymax1] , [xmin2, ymin2, xmax2, ymax2] ...[xmin4, ymin4, xmax4, ymax4]。但是,对于单个框,我得到了超过四个数组的过多值,如上所示。我如何分析这些 是的,我可以在我自己的示例中看到相同的行为。我编辑了我的帖子并添加了我的修复。 我的第一个建议是将每个图像的边界框存储在单独的 CSV 中。但您也可以创建存储在 CSV 的每一行中的 Image-ID(例如 UUID)。恕我直言,第一个选项更简洁,如果 CSV 与它所引用的图像同名,您可以轻松访问它。 对于任何新人,框坐标的顺序已更改为:[ymin, xmin, ymax, xmax]
@GregorySaldanha 谢谢。我用正确的坐标顺序更新了帖子。以上是关于使用 CSV 格式的框存储 Tensorflow 对象检测 API 图像输出的主要内容,如果未能解决你的问题,请参考以下文章
将存储在 tfrecord 格式的数据转换为 Tensorflow 中 lstm Keras 模型的输入,并用该数据拟合模型