模型推理英伟达 Jetson 系列边缘盒子性能测评

Posted 2021-09-15 极智视界

  本文记录了英伟达 Jetson 系列边缘盒子的性能测评小结。

  测评的 AIBox 是分别来自 浪潮、研智、米文，盒子型号包括 浪潮 Jetson Xavier NX、研智 Jetson Xavier NX、米文 Jetson Nano、米文 Jetson TX2 NX、米文 Jetson Xavier NX、米文 Jetson AGX Xavier，数据对标 浪潮 NX。

  盒子的推理性能强弱和其 GPU 架构和硬件配置强相关，关于 Jetson 系列盒子的硬件参数可以参考我的这篇《【模型推理】英伟达 Jetson 系列边缘盒子硬件参数汇总》。

  我这里主要测评的模型是我们项目中的 目标检测 和 行人重识别模型，不是经典模型，所以这里的测评数据不具有通用性，想要更加充分的评估就自己动手吧~

  测评姿势：使用的推理框架是 TensorRT，C++ API 堆叠那种，做了算子融合、低比特等优化；低比特化不同盒子不一样，如 Nano、TX2_NX 不支持 int8，故用的 fp16 精度，其余为 int8（这里主要考虑以能实际落地的精度进行性能对比）。

  给出性能对比数据：

  小结：

  （1）同型号（Jetson Xavier NX）三家性能相当，所以在选型的时候可以更加关注盒子的价格和稳定性；

  （2）实测 Nano 比 NX 慢 9倍，所以你在选择 Nano 的时候需要谨慎，性能确实一般；

  （3）实测 TX2 NX 比 NX 慢约 4倍，觉得这款性价比还是可以的；

  （4）实测 AGX Xavier 比 NX 快约 1倍，主要考虑到它的 显内存 (32G) 是 NX (8G) 的 4倍，所以性能十分可观，不过它也贵啊~

  好了，就这样，以上希望能给大家 窥一斑。

  收工~

扫描下方二维码即可关注我的微信公众号【极智视界】，获取更多AI经验分享，让我们用极致+极客的心态来迎接AI ！