yolact_edge在Jetson Xavier NX上部署yolact_edge（附资源）
Posted Rainbowman 0
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了yolact_edge在Jetson Xavier NX上部署yolact_edge（附资源）相关的知识，希望对你有一定的参考价值。
目录
0. 前言
这两天在尝试在Jetson Xavier NX上部署yolact_edge，因为之前部署了yolact模型，但帧率实在无法满足需求（测试下来帧率只有3-4fps），至少要达到10fps才行，于是在学长建议下部署了yolact_edge。实际测试下来效果较为理想（帧率稳定在13fps），记录下部署的过程：
1. 参考
最好的参考资料永远是官方给的，所有的博客都是在官方资料的基础上进行的修改，不一定对所有的系统都适用。下面把我参考的资料列出来。
1. yolact_edge GitHub地址
2.部署yolact_edge参考 GitHub地址
3.RuntimeError: stack expects a non-empty TensorList 如何解决？
2. 具体部署过程
2.1 我的环境
具体的部署过程并不麻烦，首先说明我的环境：（Jetson Xavier NX应该都差不多）
ubuntu系统版本：18.04
python：3.6
pytorch：1.8.0
torchvision：0.9.0
（pytorch和torchvision在arm板子上安装需要重新编译，不想编译安装可以看我之前分享的资源：pytorch1.8.0+torchvision0.9.0资源分享）
cuda：10.2（pytorch1.8.0可以用cuda10.2）
cuDNN：8.0.0
我接下来说的部署过程不一定能解决所有问题，但大致思路没问题。遇到具体的问题自行CSDN、GitHub、Google挨着问一遍基本就能解决。（我也是第一次部署，有一些地方也没弄明白）
2.2 下载官方代码
首先需要去Git官方的代码，地址为：
如果下得慢的话我把资源放在这里（yolact_edge-master文件夹）：
链接：https://pan.baidu.com/s/1MsfajOuRg4rpvzwo2tVFuw
提取码：aaaa
我们看一下文件夹的结构：
2.3 下载官方训练好的模型（yolact_edge_resnet50_54_800000.pth）
我们可以先下载一个官方训练好的模型试试效果如何，我们看下官方提供了哪些训练好的模型：
提供了不少哈，我下的是红框框出来的这个，因为看起来帧率挺高的，这个模型文件可以在这里下载：
链接：https://pan.baidu.com/s/1MsfajOuRg4rpvzwo2tVFuw
提取码：aaaa
长这样（yolact_edge_resnet50_54_800000.pth）：
下载好之后，在yolact_edge-master文件夹下建一个weights文件夹，把yolact_edge_resnet50_54_800000.pth放在weights文件夹里，后面检测的时候会用到。
2.3 下载torch2trt
为啥yolact_edge会比yolact快呢？一方面是网络结构进行了一定的改进，另一方面是使用了TenorRT进行优化。所以我们还需要安装TensorRT，但我安装了一半才发现原来Jetson Xavier NX自带有TensorRT，不用再安装了，这可真是太棒了！
Jetson Xavier NX自带的TensorRT是7.1.3.0版本的，能用。所以就不下载了， yolact_edge GitHub地址也自带有安装方法，不麻烦。下载好压缩包解压之后配置环境变量再安装就好了。
但是我们还需要下载torch2trt，首先先Git torch2trt项目：
git clone https://github.com/NVIDIA-AI-IOT/torch2trt
下载不了的可以直接用我提供的资源：
链接：https://pan.baidu.com/s/1MsfajOuRg4rpvzwo2tVFuw
提取码：aaaa
然后cd到该文件夹下面，执行命令：
sudo python3 setup.py install --plugins
如果报错非法指令，试试命令：
python3 setuo.py install --plugins --user
如果还有报错，自行百度应该就能解决。
2.4 下载COCO校准数据集
官网上说：
要使用 TensorRT INT8 校准评估 YolactEdge，您需要下载 COCO 和 YouTube VIS 的校准数据集（这避免了必须下载整个 COCO/YouTube-VIS 数据集及其注释）。 将 calib_images文件夹存储在其对应的数据集文件夹下，如下例所示。 请注意，我们最好的模型使用 INT8 校准，因此强烈建议执行此步骤。
所以要下载COCO校准数据集，这样才能用到TensorRT加速。（实测不下载不能用，会报错：RuntimeError: stack expects a non-empty TensorList）
这里可以在我提供的网盘里下载：
链接：https://pan.baidu.com/s/1MsfajOuRg4rpvzwo2tVFuw
提取码：aaaa
下载好之后把coco文件夹放在yolact_edge-master下的data文件夹下即可。
2.5 检测
以上都完成后应该就不会有太大问题了，可以开始检测试试了：
使用命令：
python3 eval.py --trained_model=weights/yolact_edge_resnet50_54_800000.pth --score_threshold=0.3 --top_k=100 --video=0
第一次应该会比较慢，还需要转换模型啥的。
看看效果如何：
嗯，还不错，有12.78fps嘞。
看下资源使用情况：
还不错。
3.总结
部署的过程大体就是这样，这次只说了如何跑官方的demo，没有说如何训练自己的模型，之后如果有需要的话应该还会做自己模型的训练。祝你成功：）
以上是关于yolact_edge在Jetson Xavier NX上部署yolact_edge（附资源）的主要内容，如果未能解决你的问题，请参考以下文章
Jetson Xavier NX （15） -- Jetson.GPIO
Jetson Xavier NX （15） -- Jetson.GPIO