CoreML 推理时间是不是会随着迭代而增长？

Posted 2023-03-27

【中文标题】CoreML 推理时间是不是会随着迭代而增长？

【英文标题】：Does CoreML inference time grow with iterations?CoreML 推理时间是否会随着迭代而增长？

【发布时间】：2020-05-15 06:26:24

【问题描述】：

我必须在 Swift 中测量我的 ML 模型的推理时间。为此，我想多次执行推理，然后平均所有推理时间以获得更精确的值。我注意到推理时间随着迭代而增长。我一定是做错了什么，我对 Swift 不熟悉：

Duration :  4756 ms
Duration :  4879 ms
Duration :  5325 ms
Duration :  5712 ms
Duration :  5952 ms
Duration :  6059 ms
Duration :  6223 ms
Duration :  6244 ms
Duration :  6088 ms
Duration :  6286 ms

这是我的代码的 sn-p：

for _ in 1...nb_it 

    // Timer
    let tic = CFAbsoluteTimeGetCurrent()

    // Inference    
    _ = try model.prediction(input: input, options: options)

    // Timer
    let toc = CFAbsoluteTimeGetCurrent()
    let duration = Int32(1000 * (toc - tic))

    // Report
    print(String(format: "Duration : %5d ms", duration))

正常吗？知道如果不是吗？提前致谢！

【参考方案1】：

是的，如果手机变热，这是可能的。您的模型似乎非常大（每次预测 4 秒），所以它做了很多工作，加热了 CPU 和/或 GPU。手机会减速以避免过热。

【讨论】：

这就是我的想法（也是我害怕的）。感谢您的洞察力。