如何估计 CoreML 模型的最大运行时占用空间（以兆字节为单位）

Posted 2023-03-27

【中文标题】如何估计 CoreML 模型的最大运行时占用空间（以兆字节为单位）

【英文标题】：How to estimate a CoreML model's maximal runtime footprint (in megabytes)

【发布时间】：2021-06-20 10:24:51

【问题描述】：

假设我有一个在TensorFlow/Keras/Caffe 等中制作的网络模型。 我可以使用CoreML Converters API 从中获取 CoreML 模型文件 (.mlmodel)。

现在，由于我有一个 .mlmodel 文件，并且知道 input shape 和 output shape，如何估计最大 RAM 占用空间？ 我知道一个模型可以有很多层，它们的大小可以比输入/输出形状大得多。

所以问题是：

在不编译和运行应用程序的情况下，是否可以通过某些公式/API 知道最大 mlmodel 内存占用？ 最大占用空间是更接近最大中间层的内存大小，还是更接近所有层大小的总和？

感谢任何建议。 由于我是 CoreML 新手，您可以提供任何反馈，如果需要，我会尝试改进问题。

【参考方案1】：

恕我直言，无论您最终想出什么公式，都必须基于网络可训练参数的数量。

对于网络的分类可以通过迭代找到，也可以使用现有的API。

在 keras 中。

import keras.applications.resnet50 as resnet

model =resnet.ResNet50(include_top=True, weights=None, input_tensor=None, input_shape=None, pooling=None, classes=2)
print model.summary()

Total params: 23,591,810
Trainable params: 23,538,690
Non-trainable params: 53,120

火炬：

def count_parameters(model):
    return sum(p.numel() for p in model.parameters() if p.requires_grad)

对于检测器，您可能需要对网络的所有重要部分执行相同的操作，包括主干网、rpn 等，无论您的网络由什么组成。

第二个重要参数是网络的精度。您必须听说过量化。它改变所有或部分层的浮点精度，并且可以是静态的（当网络以所需的精度训练并校准时）或在训练后转换网络时是动态的。最简单的动态量化将浮点数替换为线性层上的某种整数。 pytorch 中的 Maskrcnn 可在相同数量的可训练参数的情况下使文件大小减小 30% 并显着减少内存消耗。

所以最后的等式就像 size = number_of_trainable_parameters *precision * X，其中 X 是您必须为您的特定网络和 coreml 细节找出的一些因素）

【参考方案2】：

几年前我写了一篇博文，其中涉及到一些内容：https://machinethink.net/blog/how-fast-is-my-model/

但是，请记住，Core ML 的实际行为是未知的。它很可能会尝试尽可能高效（即为不再需要的张量重用内存），但它是一个黑匣子，所以谁知道呢。找出答案的唯一方法是在实际设备上试用您的模型。