如何将 cv2.imread 匹配到 keras image.img_load 输出

Posted 2023-03-12

【中文标题】如何将 cv2.imread 匹配到 keras image.img_load 输出

【英文标题】：How to match cv2.imread to the keras image.img_load output

【发布时间】：2018-11-17 15:44:57

【问题描述】：

我正在学习深度学习。训练了图像分类算法。然而，问题是我使用的训练图像：

test_image = image.load_img('some.png', target_size = (64, 64))
test_image = image.img_to_array(test_image)

而我在实际应用中使用：

test_image = cv2.imread('trick.png')
test_image = cv2.resize(test_image, (64, 64))

但我发现那些给出不同的ndarray（不同的数据）：

来自 load_image 的最后条目：

  [ 64.  71.  66.]
  [ 64.  71.  66.]
  [ 62.  69.  67.]]]

来自 cv2.imread 的最后条目：

  [ 15  23  27]
  [ 16  24  28]
  [ 14  24  28]]]

，所以系统不工作。有没有办法将一个结果与另一个匹配？

【问题讨论】：

不同如何？不同的形状、数据？

@nuric 更新的问题

image.load_img() 使用PIL，它读入RGB，而cv2.imread() 读入BGR。这是唯一的区别。

【参考方案1】：

OpenCV 以 BGR 格式读取图像，而在 keras 中，它以 RGB 表示。要使 OpenCV 版本与我们期望的顺序 (RGB) 相对应，只需反转通道即可：

test_image = cv2.imread('trick.png')
test_image = cv2.resize(test_image, (64, 64))
test_image = test_image[...,::-1] # Added

最后一行将通道反转为 RGB 顺序。然后，您可以将其输入到您的 keras 模型中。

我想补充的另一点是cv2.imread 通常以uint8 精度读取图像。检查 keras 加载图像的输出，您可以看到数据是浮点精度的，因此您可能还想转换为浮点表示，例如 float32：

import numpy as np
# ...
# ...
test_image = test_image[...,::-1].astype(np.float32)

最后一点，根据您训练模型的方式，通常习惯将图像像素值标准化为[0,1] 范围。如果您使用 keras 模型执行此操作，请确保在通过 OpenCV 读取的图像中将值除以 255：

import numpy as np
# ...
# ...
test_image = (test_image[...,::-1].astype(np.float32)) / 255.0

【讨论】：

@JeruLuke :D 我以前从未听过这种说法。我听到的最接近的方法是使用鸟类，但芒果也可以：)

【参考方案2】：

最近，我遇到了同样的问题。我尝试使用 OpenCV 转换颜色通道并调整图像大小。但是，PIL 和 OpenCV 具有非常不同的图像大小调整方式。 这是此问题的确切解决方案。

这是获取图像文件路径，转换为目标大小并为Keras模型做准备的函数 -

import cv2
import keras
import numpy as np
from keras.preprocessing import image
from PIL import Image

def prepare_image (file):
    im_resized = image.load_img(file, target_size = (224,224))
    img_array = image.img_to_array(im_resized)
    image_array_expanded = np.expand_dims(img_array, axis = 0)
    return keras.applications.mobilenet.preprocess_input(image_array_expanded)

# execute the function
PIL_image = prepare_image ("lena.png")

如果你有一个 OpenCV 图像，那么函数将是这样的 -

def prepare_image2 (img):
    # convert the color from BGR to RGB then convert to PIL array
    cvt_image =  cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    im_pil = Image.fromarray(cvt_image)

    # resize the array (image) then PIL image
    im_resized = im_pil.resize((224, 224))
    img_array = image.img_to_array(im_resized)
    image_array_expanded = np.expand_dims(img_array, axis = 0)
    return keras.applications.mobilenet.preprocess_input(image_array_expanded)

# execute the function
img = cv2.imread("lena.png")
cv2_image = prepare_image2 (img)

# finally check if it is working  
np.array_equal(PIL_image, cv2_image)
>> True

【讨论】：

当然可以，因为您使用的是预训练网络，因此您需要使用他们的预处理方法。另请注意，您使用的是 MobileNetV2。您应该扩展您的答案以推广到任何预训练的网络。

【参考方案3】：

除了使用BGR格式的CV2和使用RGB格式的Keras（使用PIL作为后端）之外，使用相同参数的CV2和PIL的resize方法也存在显着差异。

可以在 Internet 上找到多个参考资料，但总体思路是，两种调整大小算法中使用的像素坐标系存在细微差异，并且作为插值算法的中间步骤的不同转换为浮动方法的潜在问题.最终结果是一张视觉上相似的图像，但在版本之间略有偏移/扰动。

一个对抗性攻击的完美示例，尽管输入差异很小，但仍可能导致准确度的巨大差异。