Python vs C++ Tensorflow 推理

Posted 2023-02-23

【中文标题】Python vs C++ Tensorflow 推理

【英文标题】：Python vs C++ Tensorflow inferencing

【发布时间】：2017-03-15 12:48:16

【问题描述】：

实现一个 C++ 代码来加载一个已经训练好的模型然后获取它而不是使用 Python 真的值得吗？

我想知道这是因为据我了解，Tensorflow for python 是 C++ 幕后（就像它是 numpy 一样）。因此，如果最终基本上让 Python 程序获取加载了 Python 模块的模型，它的执行将与在 C++ 中使用模块非常相似，对吧？

有基准吗？我找不到任何支持这个理论的东西。

谢谢！

【问题讨论】：

您找到答案了吗？我也有同样的问题。

不抱歉，我没有找到任何明确的信息。我的观点是，性能应该与 tensorflow 使用来自 c++ 的编译代码非常相似。虽然没有这个意见作为参考。我没有测试它。

【参考方案1】：

使用您熟悉的语言，以您可以维护的方式编写。

如果用“更快”的语言编写它需要多一天时间，但只节省一分钟的运行时间，那么它必须运行 24*60 次才能赶上，而且还要多几倍是经济的。

【讨论】：

问题是，现在在 Python 中，每个样本的获取时间为 4 毫秒，如果我可以使用 C++ 获得