CoreML 模型在 coremltools 和 Xcode 之间产生不同的结果

Posted 2023-03-27

【中文标题】CoreML 模型在 coremltools 和 Xcode 之间产生不同的结果

【英文标题】：CoreML model yields different results between coremltools and Xcode

【发布时间】：2019-09-19 13:58:32

【问题描述】：

我创建了一个基于自定义 PyTorch CNN 模型的 .mlmodel 文件，方法是先将 PyTorch 模型转换为 ONNX，然后使用 onnx_coreml 转换为 CoreML。使用虚拟数据（一个 3 x 224 x 224 数组，其中每个值都是 1.0），我验证了 PyTorch 模型、ONNX 模型（使用 Caffe 后端运行）和 CoreML 模型（使用 coremltools）都产生相同的结果.

但是，当我将相同的模型导入 Xcode 并在手机上运行时，即使使用虚拟数据，模型输出也不匹配。

我使用的设备似乎没有什么不同（我在 iPhone 上尝试过，从 XS Max 一直到 SE）。全部运行 ios 12.2，并使用 Xcode 10.2.1

这是我用来创建虚拟数据并从我的模型中获得预测的代码（在 Swift 中）：

let pixelsWide = Int(newImg.size.width)
let pixelsHigh = Int(newImg.size.height)
var pixelMLArray = try MLMultiArray(shape: [1, 1, 3, 224, 224], dataType: .float32)
for y in 0 ..< pixelsHigh 
    for x in 0 ..< pixelsWide 
        pixelMLArray[[0,0,0,x,y] as [NSNumber]] = 1.0
        pixelMLArray[[0,0,1,x,y] as [NSNumber]] = 1.0
        pixelMLArray[[0,0,2,x,y] as [NSNumber]] = 1.0
    


do 
    let convModel = CNNModel()
    var thisConvOutput = try convModel.prediction(_0: pixelMLArray)._1161
 catch  print("Error") 

我已经验证输入和输出标签是正确的，等等等等。 这运行顺利，但是 thisConvOutput 的前三个值是： [0.000139, 0.000219, 0.003607]

为了比较，运行 PyTorch 模型的前三个值是： [0.0002148、0.00032246 和 0.0035419]

以及使用 coremltools 的完全相同的 .mlmodel： [0.00021577, 0.00031877, 0.0035404]

长话短说，没有使用 Swift 的经验，我想知道我是否在初始化/填充我的“pixelMLArray”以在我的设备上通过 Xcode 中的模型运行它时做一些愚蠢的事情，因为 .mlmodel 来自coremltools 非常接近我使用 PyTorch 得到的结果。有人可以帮忙吗？

【参考方案1】：

您在设备上的 Core ML 输出：[0.000139, 0.000219, 0.003607]

coremltools 的输出：[0.00021577, 0.00031877, 0.0035404]

请注意，这些数字非常小。当 Core ML 在 GPU 上运行您的模型时（也可能在神经引擎上，不确定），它使用 16 位浮点。它们的精度比 32 位浮点小得多。

注意 0.000139 和 0.00021577 不是同一个数字，但它们都在 1e-4 左右。这低于 16 位浮点数的精度限制。但是 0.003607 和 0.0035404 几乎是相同的数字，因为它们大约大 10 倍，因此不会损失太多精度。

尝试在使用 CPU 的设备上运行您的 Core ML 模型（您可以在实例化模型时为此传递一个选项）。您可能会看到您现在得到的结果与 coremltools 版本更接近（并且可能相同），因为 CPU 上的 Core ML 使用 32 位浮点数。

结论：从您目前所展示的内容来看，您的模型看起来像预期的那样工作，考虑到由于使用 16 位浮点数进行的计算，您将失去精度。

【讨论】：

这解决了它 - 我没有意识到这在 iOS 上的 GPU 和 CPU 之间有所不同。谢谢！

看起来我写得太早了——你的答案解决了我将一个由零数组组成的输入输入模型的情况。在这种情况下，一切都匹配。但是当我将任何非零数组输入模型时，答案就会大不相同（甚至比以前更是如此）。我很好奇，您是否认为我的模型权重甚至小于 32 位浮点数允许的可接受精度？即，coremltools、ONNX 和 PyTorch 可能使用双精度，这工作正常，但 Core ML 使用 32 位浮点数？

当你用 16 位浮点数表示时，你的权重可能太小了，但我在实践中并没有发现这有问题（即使权重非常小）。您在 iOS 上与 Core ML 一起使用的输入值似乎更有可能与您在 Python 中使用的输入值不同。很容易把数字按错顺序...

是的，订购可能会令人困惑。为了缓解这种情况，我使用了所有值都相同的“虚拟”数据（即全 0、全 1 或所有其他值），因此我可以排除排序问题。无论如何，我会坚持下去，谢谢你的帮助！

对于那些到达这里的人，添加这个解决了我的差异。 let config = MLModelConfiguration()config.computeUnits = .cpuOnly但是我很好奇是否还有其他解决方案可以继续使用GPU？