图像识别的 CoreML 模型预测仅适用于 iPhone 11 和 12 模型

Posted 2023-03-27

【中文标题】图像识别的 CoreML 模型预测仅适用于 iPhone 11 和 12 模型

【英文标题】：CoreML model prediction on image recognition only working on iPhone 11 and 12 models

【发布时间】：2021-07-14 23:56:30

【问题描述】：

我在 Create ML 应用中创建了一个图像识别 .mlmodel 文件。我现在在 ios 应用中使用它。

它在 iPhone 11 和 iPhone 12（以及相应的机型）上运行良好，但在 iPhone 8、iPhone 8 Plus 和 iPhone X 上运行良好。可能还有其他机型无法运行，但我可以确认的是远。

我使用的代码是：

do 
    let prediction = try self.model.prediction(image: pixelBuffer!)
 catch 
    print("\(error)")

在这不起作用的模型上，控制台中打印的错误是：

Error Domain=com.apple.CoreML Code=1 "Predicted feature named 'classLabel' was not output by pipeline" UserInfo=NSLocalizedDescription=Predicted feature named 'classLabel' was not output by pipeline

由于缺少有关 CoreML 的文档，我无法找到有关此错误的可靠跟踪。 SO上有一些随机帖子，Turicreate Github（Core ML 运行的底层 Python 库）上也有 Git 问题，但似乎没有直接回答这个问题。

任何帮助将不胜感激。谢谢！

---

根据这篇 Apple 开发者论坛帖子，配备 A7 处理器的设备与之前的设备之间可能存在一些差异。有没有可能静默失败？

https://developer.apple.com/forums/thread/93105

---

在机器学习模型的输出类中，有几行代码如下：

lazy var classLabel: String = 
    [unowned self] in return self.provider.featureValue(for: "classLabel")!.stringValue
()

这是在模拟器上构建时自动生成的文件中，因此即使在文本编辑器中编辑文件也会在每次构建时被覆盖。我认为，如果可能的话，输出模型的输出可能会有所帮助，以查看它实际返回的内容。

---

我已经追踪到这个函数：

open func prediction(from input: MLFeatureProvider, options: MLPredictionOptions) throws -> MLFeatureProvider

在 MLModel.h 的 MLModel 类声明中。这是引发错误的地方；到目前为止，我已经记录了输入数据，这是引发错误的函数，因此它来自框架本身。

【参考方案1】：

您创建的模型是所谓的管道模型，这意味着它包含两个子模型。其中第一个是 Vision FeaturePrint 模型，第二个是处理这些特征打印并输出类标签的分类器。

根据错误消息，管道没有在任何地方输出classLabel 结果。由于它适用于某些 iPhone 而不是其他 iPhone，因此这可能是 Core ML 中的一个错误。但是，也可能是模型或不同 iOS 版本的问题。很难说到底发生了什么。

您可以使用 Netron 工具（开源）查看模型，这应该可以让您了解模型中是否实际存在 classLabel。

【讨论】：

谢谢！我认为classLabel 会在那里，因为我直接通过 Create ML 应用程序训练了模型。我通过 Netron 运行它，它确实在那里：pasteboard.co/JYganhB.png。正如你提到的（我在我的问题中提到），它确实适用于某些模型，所以我认为它无论如何都在那里。也许下一步是查看 Apple 提供的示例 mlmodel 文件并在不同设备上运行测试以查看它是否重新创建。