加速tensorflowjs模型

Posted 2021-04-29

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了加速tensorflowjs模型相关的知识，希望对你有一定的参考价值。

我使用mxnet框架训练了一个模型。模型的推理时间约为9毫秒。该模型主要由conv层组成，并使用深度可分离卷积。

我想在浏览器中运行该模型。我将模型转换为ONNX格式然后从

ONNX - > tensorflow - > tensorflowjs。

tensorflowjs的推理时间为~129毫秒。

有什么建议可以改善模型的性能吗？

我也尝试过ONNXJS，但似乎它仍然有很少的bugs。

答案

由于您处理129ms延迟，因此重新构建是可能的。您将有时间将图像发送到运行高性能推理服务器的端点（EC2或SageMaker + API网关）。

维沙尔

以上是关于加速tensorflowjs模型的主要内容，如果未能解决你的问题，请参考以下文章