记录历经三天将自己的yolov5模型部署到Android安卓手机

Posted 鲁木子

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了记录历经三天将自己的yolov5模型部署到Android安卓手机相关的知识，希望对你有一定的参考价值。

将yolov5部署到安卓手机移动端

记录历经三天小白将自己的yolov5模型部署到安卓手机

一、前言

小白一枚，第一次在这上面记录总结，如有不合适的地方，木子接受批评，知错就改，善莫大焉。
直接先上参考文献：
参考视频
参考文章一and文章二

二、具体流程

（一）.部署官方yolo到安卓

根据视频的流程，基本可以无障碍的将官方的yolov5训练模型部署到自己的安卓手机上。运行结果如下：

大体流程在视频中大哥已经讲的很好啦，我在这补充一下我踩到过的坑。

1.CMakeLists.txt文件修改

如果你是按照视频中的步骤来的，一定要把下面图中的蓝色部分（前后随便删一个斜杠）删掉！！！

2.sdk相关文件报错问题

有时候从网上下载的sdk包版本不同，里面的文件可能有差异，有的包会少东西，可以参考这篇文章。

3.build.gradle文件

其实通过这几天查资料发现，很多运行as的报错问题都和这个gradle版本有关，可以参考一下这篇文章，如果不能解决，自己多搜一下有关gradle报错的文章，一般都是可以解决的，我目前的版本如下：

我遇到的基本问题就是这几个，大家可以看看什么报错多搜一搜总会解决的。

（二）.转化自己模型

1.导出需要的onnx文件

本人电脑比较low，只能在谷歌免费的colab上跑模型，所以本小节代码是按照colab语法来的，大家在自己电脑里思路是一样的。
（1）在自己的yolov5环境里装onnx库包

!pip install onnx coremltools onnx-simplifier

（2）使用自带export.py进行转化（之前有的版本可能在model文件下）
执行命令前，修改成自己的weights和date文件及路径，我的如下：

执行export.py，然后会在自己的权重路径下生成一个onnx文件。

!python export.py --train

（3）对onnx文件进行压缩

!python -m onnxsim best.onnx best-sim.onnx

2.将onnx文件转化成param文件

我的转化过程是是在虚拟机Ubuntu上进行的。
相关步骤可以看一下参考文章一，我这里简单复述一下并补充一下文章中没有提到的细节记录一下自己踩过的坑。
（1）首先准备基础环境

sudo apt install build-essential libopencv-dev cmake

编译安装 protobuf 依赖库

git clone https://github.com/protocolbuffers/protobuf.git
cd protobuf
git submodule update --init --recursive
./autogen.sh
./configure
make
make install
sudo ldconfig

成功之后是可以查看版本号的

protoc --version


（2）下面编译 ncnn，目的是生成 onnx 转 ncnn 的命令行工具

git clone https://github.com/Tencent/ncnn.git
cd ncnn
git submodule update --init
mkdir build
cd build
cmake ..
make -j8
make install

（3）踩过的坑
像我这样的报错：

执行命令：

sudo apt install autoconf automake 
sudo apt install libtool

这样基本就能解决大部分的错了，基本就是缺啥补啥。
编译安装protobuf和ncnn时间会比较长，我在编译等待期间完成了学习强国的今日任务。
（4）编译完成后，把你的best-sim.onnx文件放在ncnn-master/build/tools/onnx文件夹下，如图：

cd 切换到ncnn-master/build/tools/onnx目录下进行操作

./onnx2ncnn best-sim.onnx yolov5s.param yolov5s.bin

然后你会生成两个文件yolov5s.param和 yolov5s.bin，如图

到这里基本最难的转化过程就差不多了。

（三）.部署自己模型到手机上

以下是自己摸索的在yolov5.6.1的版本上进行的，param文件不需要修改很多，没那么麻烦啦。

1.修改param文件

（1）将生成的yolov5s.bin、yolov5s.param文件放到assets文件夹下并替换原来的

（2）打开并编辑yolov5s.param文件
将Reshape 后面对应的0=6400、0=1600、0=400均修改为0=-1，如图

2.修改yolov5ncnn_jni.cpp文件

（1）将分类类别名与自己模型对应起来

（2）修改stride 16和32部分
将param文件中permute部分与stride部分中blob_name后面的数字对应起来



然后保存运行就可以啦

三.总结

先上图看效果

本来是想查资料把yolo部署到树莓派上，因为学校一直封校，树莓派还没拿到手，就好奇看到了部署到手机上，没想到花了三天时间成了！在这也非常感谢一位山西的网友大佬给我指点了迷津。

大家可以结合我推荐的视频和文章，取其精华、去其糟粕，得到自己想要的东西。大家一定要注意对自己借鉴的代码消化吸收，就好比马克思先生是国外的，但是马克思中国化后的思想却是我们中华民族的瑰宝。

green hand 一枚，第一次发文章，希望能在这个网站上跟大家多多学习，多多交流，互相进步，中华民族的复兴，必定有你也有我!

YOLOv5使用NCNN将模型部署到Android端教程部署自己的训练模型到Android实现静态图片检测

文章目录

1. 前言

  • 之前一直是在电脑端运行YOLOv5，但在户外调试的时候不太方便，因此考虑把YOLOv5的代码移植到手机端。
  • 这个部署的流程其实很简单：原始pt权重>中间onnx权重>ncnn权重>修改Android Studio源码>得到安卓APP>结束。如果你感觉博客教程太长了，那么很有可能是中间的图片太多，以及之前自己部署的时候踩坑环节太多，这些部分你都可以直接跳过去。放心好了，我把自己踩过的坑的正确方法全部修正放在正文中了，踩坑和实验环节自己全部放在[报错]章节了，尽量减少大家在部署的过程中遇到的坑的数量。

2. 模型转换

2.1. NCNN

2.1.1. 简介

NCNN是一个腾讯开源的优化到极致的高性能神经网络前向计算框架，可以把电脑端生成在深度学习模型移植到手机端，支持的模型非常多
NCNN官方的定义：NCNN是腾讯公司开源的一个专为手机端极致优化的高性能神经网络前向计算框架。NCNN从设计之初，就深刻考虑手机端的部署和使用，无需第三方依赖，跨平台，手机端CPU的速度快于目前所有已知的开源框架。基于NCNN，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能APP，将AI带到你的指尖。
目前NCNN已经支持大部分的CNN网络，包括本文中用到的YOLOv5，

可以从这个网页上进行查看支持的具体平台
Releases · Tencent/ncnn · GitHub

我们接下来主要以带加速的ncnn-android-vulkan.zip展开

2.1.2. ncnn

GitHub Tencent/ncnn: ncnn is a high-performance neural network inference framework optimized for the mobile platform

2.1.3. ncnn-android-yolov5

GitHub nihui/ncnn-android-yolov5: The YOLOv5 object detection android example

2.2. 项目准备

2.2.1. 安装Android studio

这个百度上有很多对应的经验体，随便找一个教程，然后切换一下国内源，即可安装成功，这里不做赘述
这里需要说明一点，我们应该安装NDK、Cmake

  • 这里根据自己的手机版本来选择对应的开发环境
  • 最后点击应用安装

2.2.2. 下载解压源码

下载解压NCNN和ncnn-android-yolov5工程

  • 把ncnn-20221128-android-vulkan里面的文件复制一份到ncnn-android-yolov5-master的\\app\\src\\main\\jni目录下

2.3. 安卓源码重新编译

2.3.1. 构建工程

用Android studio 打开这个ncnn-android-yolov5-master项目的build.gradle文件

  • 之后Android studio会帮我们构建整个工程，耐心等待他走完

2.3.2. 修改源码

2.3.2.1. 修改CMakeLists.txt中的路径

  • 打开ncnn-android-yolov5-master\\app\\src\\main\\jni\\CMakeLists.txt
  • 将第五行的路径改为自己的路径
  • 也就是将
set(ncnn_DIR $CMAKE_SOURCE_DIR/ncnn-20201218-android-vulkan/$ANDROID_ABI/lib/cmake/ncnn)
  • 改为
set(ncnn_DIR $CMAKE_SOURCE_DIR/$ANDROID_ABI/lib/cmake/ncnn)
  • 也就是把作者的根目录给删除掉
  • 修改之后
  • 简单说明一下：ANDROID_ABI对应的是不同架构下的文件夹名称

2.3.2.2. 重新重新ysnc project


2.3.2.3. 安装APP到手机端

点击这个开始按钮即可

  • 可以看到，手机端已经安装好这个APP了
  • 点开看一下界面

2.4. demo效果测试

  • 我们选择一张有物体的图片，点击识别

  • 可以看到，已经可以用目标检测框把这个鼠标给框出来了

  • 如果我们想查看手机识别的精确结果，可以点击这个run状态栏（需要注意，这个操作必须是手机通过数据线连接电脑才行）

  • 这个时候再在手机端进行选图识别，电脑端就会打印出识别所用的精确时间

    这里CPU识别一张图片用112毫秒，GPU识别一张图片需要201毫秒，这是什么鬼？可能是GPU模型比较大吧，导入的速度会慢一点，处理单张图片看不出来区别，处理视频的时候应该还是GPU更好。

2.5. 换成自己的训练模型

  • 当我们训练好了自己的检测模型后，就需要一种中介，通过它在不同的框架之间进行转换，Open Neural Network Exchange 简称 ONNX，意思是开放神经网络交换格式，它就是我们需要的中介。

  • 其实这个修改源码所需的工作量也没多少，

2.5.1. 转换自己训练的pt权重为ncnn格式

我们采用.pt ->onnx->ncnn的路线来转换自己训练的模型

2.5.1.1. 导出需要的onnx文件

2.5.1.1.1. 首先，安装onnx包
  • pip install onnx coremltools onnx-simplifier
2.5.1.1.2. 使用YOLOv5自带的export.py进行转换
  • 执行export.py操作前，修改weights和data的路径
  • 这里有一点非常重要，一定要选择train模式去掉后处理，否则最终生成的APP会闪退（自己在这个问题上看了好长好长一段时间才摸索出来的经验）
  • 执行export.py操作后，会在权重文件夹下面生成一个onnx文件
  • 如果PyCharm直接运行无法生成onnx的话，使用下面的脚本命令应该就可以成功了
export.py --weights weights/yolov5s.pt --include torchscript onnx

python export.py  --train --weights weights/yolov5s.pt --include torchscript onnx
2.5.1.1.3. 对onnx文件进行压缩
  • python -m onnxsim best.onnx best-sim.onnx
  • 压缩完之后会生成一个best-sim.onnx的文件
  • 这一步是必须的，如果这一步不做，后面ONNX转NCNN可能会报错

2.5.1.2. 将onnx文件转换成param文件

2.5.1.2.1. 使用protobuf进行转换（过程繁琐不推荐）
  • 之前方法就是使用protobuf来完成这个onnx文件到ncnn权重的转换，但是现在有更好的解决方法，转换效率更高速度、更快，也更傻瓜化；以前的这种protobuf虽然也可以用，但是对于大多数来说，应该只是一种极客的情怀罢，建议选用另一种方式，如果你坚持要用这种方式的话，那么就继续往下看吧
  • 这个过程在Ubuntu系统上完成，可以使用真的Ubuntu系统或者使用虚拟机
  • 我这里使用的是VMware虚拟机
  • 首先准备基础环境
sudo apt install build-essential libopencv-dev cmake git
  • 安装完毕
  • 编译安装 protobuf 依赖库
  • 需要注意的是，下面的命令都需要在管理员权限下运行，否则很有可能会运行失败（这一步有很多坑，我把自己能运行成功的代码贴上来了，但不保证大家都能运行成功。如果还是不可避免出奇奇怪怪的错误的话，那么去我下面的报错记录中查找或者自己上网上找对应的博客排查吧）
su
git clone -b v3.20.1-rc1 https://github.com/protocolbuffers/protobuf.git
cd protobuf 
git submodule update --init --recursive 
./autogen.sh 
./configure 
make 
make install 
sudo ldconfig
  • 最终安装完之后会显示出protobuf版本号
protoc --version
  • 编译ncnn
  • 目的是生成onnx 转 ncnn 的命令行工具
git clone https://github.com/Tencent/ncnn.git 
cd ncnn 
git submodule update --init 
mkdir build 
cd build 
cmake .. 
make -j8 
make install
  • 下载、编译完成
  • 转换模型
  • 编译安装完成后，就可以使用 onnx2ncnn 工具进行转换了
  • 把自己之前压缩好的best-sim.onnx放在ncnn/build/tools/onnx文件夹下
  • 之后切换到这个目录下，执行下面的操作
./onnx2ncnn best-sim.onnx yolov5s.param yolov5s.bin
  • 操作成功后会生成yolov5s.bin和yolov5s.param两个文件
  • 到这里，坑最多的转换部分就算完成了
2.5.1.2.2. 使用onnxsim的在线端进行转换（过程简单，强烈推荐）

  • 这种方式简直是我们做深度学习模型移植到安卓手机端的神器，整个过程里没有复杂的部署，也没有什么坑，有的只是人性化的操作界面，简单几个按钮就可以把整个流程给走完，节省好几个小时的时间，以及中间的无数大小坑，溢美之词不能再多了。

  • 一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine

  • 是在本地运行的，所以自己的模型是不会被泄露

    • 使用
      • 选择对应的参数，上传文件，点击转换
      • 转换成功
      • 点击下载
      • 此外还可以选择转换为fp16模型，这样最终产生的模型大小只有原来的二分之一
    • 效果对比
      • 差异还挺明显的呀

2.5.2. 修改项目源码

2.5.2.1. 替换原来的param文件

  • 将刚才生成的yolov5s.bin、yolov5s.param文件放到ncnn-android-yolov5-master\\app\\src\\main\\assets文件夹下，并替换原来的文件

2.5.2.2. 修改param文件中的参数

  • 打开yolov5s.param，搜索Reshape层，将后面对应的 0=6400、0=1600、0=400 均修改为 0=-1 ，这是为了解决实际中出现的多检测框的问题
  • 修改前
  • 修改后

2.5.2.3. 修改yolov5ncnn_jni.cpp文件

2.5.2.3.1. 将ncnn-android-yolov5-master\\app\\src\\main\\jni文件夹下的yolov5ncnn_jni.cpp的分类类别名改成自己模型的实际类别名
  • 修改前
  • 修改后
2.5.2.3.2. 修改stride 16和32部分
  • 修改源码文件yolov5ncnn_jni.cpp中Permute 节点的 output
  • 将param文件中permute部分与stride部分中blob_name后面的数字对应起来
  • param文件中搜索permute会出来3个结果，我们选择
  • 我们使用Notre打开这个yolov5s.param文件，找到permute节点，这个permute节点一共有3个，分别是128,256,512尺寸的，我们需要的是256和512的输出维度
  • 修改前
  • 修改后

2.6. 测试

  • 连上手机，点击run按钮，编译安装调试

  • 可以看到了手机端安装了对应的APP

点开

  • 我们选择一张图片进行，然后点识别，可以看到已经可以正常的空穴普通的目标了，而且置信度还挺高的
  • 2022.12.10-23:44:02
  • 终于把自己训练好的YOLOV5模型移植到手机端了，累死我了。但愿今晚有个好梦~

3. 问题

3.1. 为什么不同人转换出来的模型大小不一样？

  • 可能是在转换的过程中，有的人使用FP16吧
    .pt->onnx->onnxsim->ncnn，
  • 在export.py的时候是否去掉了后处理
    添加 --train 参数，去掉后处理
export.py --weights yolov5s.pt --include torchscript --train

3.2. NCNN可以运行的权重是fp32还是fp16的？

  • fp32和fp16都可以运行

4. 报错

4.1. Android Studio报错

  • CMake ‘3.10.2’ was not found in PATH or by cmake.dir property.

    点击下方的install即可

  • By not providing “Findncnn.cmake” in CMAKE_MODULE_PATH this project has asked CMake to find a package configuration file provided by “ncnn”, but CMake did not find one.
    看一下自己ncnn-20221128-android-vulkan的代码是否放对了位置，需要放到ncnn-android-yolov5-master的\\app\\src\\main\\jni目录下

  • No toolchains found in the NDK toolchains folder for ABI with prefix:** arm-linux-androideabi**

    在ABI的NDK工具链文件夹中没有找到带有前缀:arm-linux-androideabi的工具链
    原因分析：最新版ndk（version=25.1.8937393）的toolchains文件夹中无arm-linux-androideabi文件

解决办法

  • 下载老版本NDK21，
  • 打开本地Android SDK所在路径，解压到指定目录就行（如果没有这个目录，就新建一个）
/ndk-bundle/toolchains
  • developer.android.com/ndk/downloads/?hl=zh cn
  • 修改项目根目录的local.properties文件
  • 可以看到这个文件中原来没有NDK的路径，我们为其手动指定一个
  • 这个路径是安卓SDK下面的路径，具体根据自己的实际情况进行选择
ndk.dir=C\\:\\\\Users\\\\Lenovo\\\\AppData\\\\Local\\\\Android\\\\Sdk\\\\platform-tools\\\\ndk-bundle
  • 同时安装低版本的ndk（如version=21.3.6528147），将低版本ndk中toolchains 文件夹下的arm-linux-androideabi等文件复制到25.1.8937393版本ndk的toolchains 文件夹中
  • 之后再构建项目就不报错了

  • Update NDK version to 25.1.8937393 and sync project
    这个很好理解嘛，也就是自己的NDK的版本太低了，下载最新版的NDK即可

  • Location specified by ndk.dir (C:\\Users\\Lenovo\\AppData\\Local\\Android\\Sdk\\platform-tools\\ndk-bundle) did not contain a valid NDK and and couldn’t be used

    没有包含有效的NDK
    实际原因是NDK的路径不对
    确保NDK的两个路径是正确的

  • 这样之后再进行sync projec就可以正常了

  • OSError: [WinError 1455] 页面文件太小，无法完成操作。 #OSError
    电脑上开的东西太多了，关掉一些就好了
    或者设置虚拟内存

4.2. onnx转换报错

  • export.py转换之后没有生成onnx的文件

    可能是因为自己使用的PyCharm进行这个操作，里面有一些参数没有传递到，可以自己手动去看，直到找到到底哪里的参数传递出了问题（我感觉这个工作没有太大重复价值，就没做）
  • 也可以直接使用脚本转换，这样一般就可以转换成功了
export.py --weights weights/yolov5s.pt --include torchscript onnx

4.3. 编译protobuf报错

  • make: *** No rule to make target ‘install’。 停止。

    可能是中间有些文件没有下载下来，删除掉protobuf文件夹，再重新运行一遍安装命令也许就可以成功了
git clone https://github.com/protocolbuffers/protobuf.git  
cd protobuf  
git submodule update --init --recursive  
./autogen.sh  
./configure  
make  
make install  
sudo ldconfig

或者自己先手动把这个仓库下载下来，然后再进行安装

cd protobuf   
git submodule update --init --recursive   
./autogen.sh   
./configure   
make   
make install   
sudo ldconfig
  • 应该是从git submodule update --init --recursive 这一步后面就都开始错了，因为没有找到autogen.sh文件
  • 2022.12.06-09:38:20
  • 自己又安装了一遍，发现这边git submodule update --init --recursive 这一步其实并没有太大问题
  • 2022.12.06-09:41:43
  • 最终，百度找到原因了，autogen.sh是一个shell脚本，用来简化生成configure的，需要事先配置好，而不是在这个程序中才搞的。
  • autogen.sh_zhangatong的博客-CSDN博客_autogen.sh
  • 那么直接安装autogen.sh的相关组件即可
sudo apt-get install autoconf automake libtool
  • 最终找到原因了，下载的protobuf源码中没有autogen.sh文件
  • 这是因为新版本的项目中已经没有了这个autogen.sh，
  • 而旧版本上面还有
  • 我们下载的时候使用旧版本即可
git clone -b v3.20.1-rc1 https://github.com/protocolbuffers/protobuf.git
  • 可以看到这个问题已经不报错了

4.4. 编译NCNN报错

  • Makefile:127: recipe for target ‘all’ failed make: *** [all] Error 2
    Ubuntu下编译ncnn的时候说这个问题

    这是因为编译的时候找不到链接目录
    更新到gcc version 9.4.0 (Ubuntu 9.4.0-1ubuntu1~16.04) 解决问题了。
  • NCNN编译报错 · Issue #4255 · Tencent/ncnn · GitHub
  • 可以看到这个错误已经消失了（虽然后面依然有错误，但最起码是解了燃眉之急）
  • CMake Error at CMakeLists.txt:48 (project):No CMAKE_CXX_COMPILER could be found.
    应该是自己更新了gcc之后，g++找不到了
    重新安装对应版本的g++即可
    或者建立软连接
sudo ln -s /usr/bin/g++-5 /usr/bin/g++ -f
  • 之后就不报错了

4.5. 手机APP报错

5. 资源

  • 可以直接运行的NCNN项目

5.1. 口罩项目

https://www.lanzoui.com/iWoBt0hzt9hi 访问码：24647
下载下来之后，需要更改一下自己的Android SDK路径

6. 参考资料

以上是关于记录历经三天将自己的yolov5模型部署到Android安卓手机的主要内容，如果未能解决你的问题，请参考以下文章

在kaggle上用Yolov5训练口罩模型并部署到android端

全流程从头在树莓派4B上部署自己训练的yolov5模型（配合NCS2加速）

图像识别之Yolov5训练自己的模型

图像识别之Yolov5训练自己的模型

tensorflow Lite 2---- 移动端部署--yolov5+训练自己的数据集

tensorflow Lite 2---- 移动端部署--yolov5+训练自己的数据集