RK3588(自带NPU)的环境搭建和体验

Posted 2023-03-29 紫川宁520

前言：这是本系列文章的第一篇，这里介绍一些必要的环境和工具，后面的文章不再介绍。

工具：i7-6700四核八线程、GTX960M显卡的渣渣笔记本（16G内存 + 512G固态 +1T机械）、Ubuntu18.04（VMware虚拟机安装，8G + 200G） 、一块RK3588S开发板，USB type-c线、12v电源线、一杯咖啡。

一、开发板简介

        rk3588是瑞芯微2022.3.4日发布的一款八核64位处理器，采用8nm，主频2.4GHZ, 集成ARM Mali-G610 MP4四核GPU,内置NPU（重点），可提供6Tops算力，最大支持32G内存。支持8K视频编解码，支持NVMe SSD固态扩展。如图（网上找到的图，侵删）

 对于本系列的博文来说，最重要的是自带的NPU。

详细数据可以去官网查看。

二、安装开发环境

        环境安装的比较多，主要是python相关的依赖包和RKNN-Toolkit2.

1. 安装python3.6和pip3

sudo apt-get install python3 python3-dev python3-pip

2. 安装依赖

sudo apt-get install libxslt1-dev zlib1g zlib1g-dev libglib2.0-0 libsm6 \\
libgl1-mesa-glx libprotobuf-dev gcc

3.安装RKNN-Toolkit2安装包

        1）安装python依赖（安装之前最好更新下pip3，我后面遇到了问题就是更新之后才解决的，下面的博文中谈到）

numpy==1.16.6
onnx==1.7.0
onnxoptimizer==0.1.0
onnxruntime==1.6.0
tensorflow==1.14.0
tensorboard==1.14.0
protobuf==3.12.0
torch==1.6.0
torchvision==0.7.0
psutil==5.6.2
ruamel.yaml==0.15.81
scipy==1.2.1
tqdm==4.27.0
requests==2.21.0
opencv-python==4.4.0.46
PuLP==2.4
scikit_image==0.17.2
bfloat16==1.1
flatbuffers==1.12

        2）安装RKNN-Toolkit2

sudo pip3 install rknn_toolkit2-1.3.0_11912b58-cp36-cp36m-linux_x86_64.whl

        3）检查RKNN-Toolkit2是否安装成功

        

                 已安装成功。

三、在rk3588s上测试
    

        测试rk3588s，需要使用usb线连接开发板和电脑，之后通过adb进行操作。

1. 查看设备

 可以看到设备ID为ff3c685cc52f4821，这个ID在python脚本里面设置NPU时用到。

2. 更新板子的rknn_server 和librknnrt.so

librknnrt.so: 是一个板端的runtime 库。
rknn_server: 是一个运行在板子上的后台代理服务，用于接收PC 通过USB 传输过来的协议，
然后执行板端runtime 对应的接口，并返回结果给PC。

这两个文件只需要更新一次。之后直接连接usb线，在python里面配置就行。

adb root
adb remount
adb push \\
rknn_server \\
/vendor/bin/
adb push \\
librknnrt.so /vendor/lib64/
adb shell
chmod +x /vendor/bin/rknn_server
sync
reboot	

3. 使用脚本进行测试
    

到这里，环境已经配置好了，下面使用自带的YOLOV5算法进行测试。
 

  python3.6 test.py

输出的日志比较多，大概就是，先初始化RKNN的环境，连接NPU，将yolov5生成的模型（onnx类型的文件）转化为rknn模型（瑞芯微NPU专用的模型文件），进行识别，将结果写入到图片中。

这里只截取其中一部分输出结果进行说明。

1）连接NPU

这一部分可以看到芯片的型号，通过adb连接rk3588。能成功连接。

 2）识别结果

这一部分时将识别出来的结果输出出来，就是识别的目标类别、坐标、尺寸、概率大小等。

3）结果图像

将结果图像通过fim打开，可以看到，已经在图像上进行标注了。

 四、安装环境是遇到问题

1. protobuf requires Python '>=3.7' but the running Python is 3.6.9

 解决办法：更新pip之后重新安装tensorflow

更新指令：python3.6 -m pip install --upgrade pip3

2.No matching distribution found for onnxruntime==1.6.0

 原因：onnxruntime找不到版本，可以去网上下载一个。

安装：pip3 install onnxruntime-1.6.0-cp36-cp36m-linux_x86_64.whl

名字要将manylinx2014改成linux

我用的是这个版本，链接：

 onnxruntime · PyPI

​

3. No matching distribution found for skbuild

​

 解决办法：pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit-build

4. adb root失败

​

 原因：root未启动。

解决： 执行命令adb shell setprop persist.sys.root_access 3 ，再使用adb root

五、总结

        环境的安装还算可以，按照资料里面走基本都能正常安装。晚上测试了一下，使用SSD算法转化的rknn模块，直接加载，进行推理（只有推理，NPU还可以训练、转化模型等），大概需要40ms左右。这是第一次使用NPU进行操作，可能出错，不一定对，也没有对芯片的主频进行固定，后面测试的时候，学习下怎么固定频率进行测试。后面还要继续学习。