使用 iOS 11 mlmodel 进行图像分类 - 使用 coremltools 和经过训练的 .caffemodel 转换问题

Posted

技术标签:

【中文标题】使用 iOS 11 mlmodel 进行图像分类 - 使用 coremltools 和经过训练的 .caffemodel 转换问题【英文标题】:Image classification with iOS 11 mlmodel - convert issue using coremltools and trained .caffemodel 【发布时间】:2017-12-28 20:10:00 【问题描述】:

使用coremltool 和训练有素的 .caffemodel 时,我似乎遇到了一些转换问题。我能够训练和测试caffe 狗模型(120 个类别,20k 张图像),它直接通过了我的测试caffe 分类。不幸的是,在转换为mlmodel 后,它并没有给我对同一输入的有效预测。

训练模型

该模型已使用 Caffe、GoogleNet、120 多个类别的 20k 图像集和大约 500k 次迭代进行了训练。我已经准备好了图片数据库和其他所有东西,并把all files together here

caffe分类

这是classification examplecaffe。当我尝试对训练有素的caffemodel 运行分类请求时 - 它工作得很好,概率很高 (80-99%),结果正确:

Appleios 11CoreML分类

不幸的是,当我尝试将这个 DTDogs.caffemodeldeploy.txt 打包到 Apple iOS 11 CoreML 可使用的 .mlmodel 中时,我得到了不同的预测结果。实际上,加载和使用模型没有错误,但我无法获得有效的分类,所有的预测都是 0-15% 的置信度并且有错误的标签。为了正确测试它,我使用了与 caffe 进行直接分类时使用的完全相同的图像:

我也从这里用我的 iOS 应用程序尝试了the pre-trained and pre-packed models - 它们工作得很好,所以这似乎是打包程序的问题。

我错过了什么?


这是使用caffe 进行分类的示例:没有问题,正确答案 (python):

import numpy as np
import sys
import caffe
import os
import urllib2
import matplotlib.pyplot as plt
%matplotlib inline

test_folder = '/home/<username>/Desktop/CaffeTest/'
test_image_path = "http://cdn.akc.org/content/hero/irish-terrier-Hero.jpg"

# init caffe net
model_def = test_folder + 'deploy.prototxt'
model_weights = test_folder + 'DTDogs.caffemodel'
# caffe.set_mode_gpu()
net = caffe.Net(model_def, model_weights, caffe.TEST) 

# prepare transformer
transformer = caffe.io.Transformer('data': net.blobs['data'].data.shape)
transformer.set_transpose('data', (2,0,1))  
transformer.set_raw_scale('data', 255)
transformer.set_channel_swap('data', (2,1,0))
net.blobs['data'].reshape(1, 3, 256, 256)  

test_image = urllib2.urlopen(test_image_path) 
with open(test_folder + 'testImage.jpg','wb') as output:
  output.write(test_image.read())

image = caffe.io.load_image(test_folder + 'testImage.jpg')
transformed_image = transformer.preprocess('data', image)
net.blobs['data'].data[...] = transformed_image

# classify
output = net.forward()
output_prob = output['prob'][0]
output_prob_val = output_prob.max() * 100
output_prob_ind = output_prob.argmax()
labels_file = test_folder + 'labels.txt'
labels = np.loadtxt(labels_file, str, delimiter='\t')

plt.imshow(image)
print 'predicted class is:', output_prob_ind
print 'predicted probabily is:', output_prob_val
print 'output label:', labels[output_prob_ind]

这是使用coremltools 打包DTDogs.mlmodel 模型的示例。我看到结果.mlmodel 文件比原始.caffemodel 小两倍,但它可能是coremltools (python) 的某种归档或压缩优化:

import coremltools;
caffe_model = ('DTDogs.caffemodel', 'deploy.prototxt')
labels = 'labels.txt'
coreml_model = coremltools.converters.caffe.convert(caffe_model, class_labels = labels, image_input_names= "data")
coreml_model.short_description = "Dogs Model v1.14"
coreml_model.save('DTDogs.mlmodel')

这是在应用程序中使用DTDogs.mlmodel 的示例。我正在使用常规图像选择器来选择用于.caffe 分类测试 (swift) 的相同图像:

func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [String : Any]) 
    picker.dismiss(animated: true)
    print("Analyzing Image…")

    guard let uiImage = info[UIImagePickerControllerOriginalImage] as? UIImage
        else  print("no image from image picker"); return 
    guard let ciImage = CIImage(image: uiImage)
        else  print("can't create CIImage from UIImage"); return 

    imageView.image = uiImage

    do 
        let model = try VNCoreMLModel(for: DTDogs().model)
        let classificationRequest = VNCoreMLRequest(model: model, completionHandler: self.handleClassification)
        let orientation = CGImagePropertyOrientation(uiImage.imageOrientation)
        let handler = VNImageRequestHandler(ciImage: ciImage, orientation: Int32(orientation.rawValue))
        try handler.perform([classificationRequest])
     catch 
        print(error)
    

【问题讨论】:

【参考方案1】:

通常在这些情况下发生的情况是 Core ML 传递给模型的图像格式不正确。

对于 Caffe 模型,您通常需要在调用 caffe.convert() 时设置 is_bgr=True,并且您通常必须传入将从输入图像中减去的 RGB 平均值,并且可能还有缩放值也是如此。

换句话说,Core ML 需要执行与您的 transformer 在 Python 脚本中执行的相同操作。

类似这样的:

coreml_model = coremltools.converters.caffe.convert(
    caffe_model, class_labels = labels, image_input_names= "data",
    is_bgr=True, image_scale=255.)

我不确定是否需要 image_scale=255.,但值得一试。 :-)

【讨论】:

如果可能和合适的话,我会亲吻你。 @MatthijsHollemans is_bgr=True 是我需要的,它基本上是这个转换器操作:transformer.set_channel_swap('data', (2,1,0))(# 将通道从 RGB 交换到 BGR)。 Scale 255 不起作用,但保留默认值可以正常工作。我已经测试了各种示例,效果很好!你救了我:) 谢谢。

以上是关于使用 iOS 11 mlmodel 进行图像分类 - 使用 coremltools 和经过训练的 .caffemodel 转换问题的主要内容,如果未能解决你的问题,请参考以下文章

.mlmodels 的枚举?

CoreMLTools 转换为 MLModel:reName_Feature 不起作用

图像识别的 CoreML 模型预测仅适用于 iPhone 11 和 12 模型

将训练好的 Keras 图像分类模型转换为 coreml 并集成到 iOS11

该模型在 Tensorflow 到 CoreML 模型中没有有效的图像类型输入特征

使用第一个 MLModel MLMultiArray 输出作为第二个 MLModel MLMultiArray 输入