torchserve安装模型的部署与测试（基于docker）

Posted 2023-03-08 smile-yan

问题描述

pytorch 一直很受大家的欢迎，但是作为一个深度模型，与外界复杂的业务需求交互其实是一件比较麻烦的事情，这里 torchserve 提供一个基于 TCP 的交互方法，算法模型部署后，用户可以通过提交 post 请求，将数据传送给 torchserve 并获得算法结果。

docker 环境

不管是 mac os 或者 windows 、linux ，均需要安装好 docker 环境，此步骤安装简单，全网教程也非常多，一般按照官方提供的安装脚本或软件即可正常安装。

docker 添加 torchserve

首先查看一下 docker 已经安装的镜像：

$ sudo docker images

因为我当前没有安装任何环境，输出内容为：

若未安装，则输入如下命令安装 torchserve。

$ sudo docker pull pytorch/torchserve:latest

这个过程可能需要消耗一些时间。

再次输入如下命令，可以看到：

$ sudo docker images

打包模型为 mar 文件

如果已经训练好 pytorch 的模型（.pt 文件），需要打包成为 .mar 文件后方能作为 torchserve 能调用的模型，即需要使用 torch-model-archiver 对已有的 .pt 文件打包，方法如下：

torch-model-archiver -f --model-name shape_cnn \\
--version 1.0 \\
--serialized-file 模型对应的pt文件.pt \\
--handler 预处理与后处理的文件.py \\
--export-path 导出mar文件的路径

启动 torchserve 提供服务

上个步骤中有提到导出mar文件的路径，这里注意需要保证如下命令中的第二行的路径为 mar 文件的所在路径，因为在模型的注册的时候将会在这个目录下寻找 mar 文件（也就是这里的 /home/yan/models）。

$ sudo docker run --rm -it -d -p 8280:8080 -p 8281:8081 -p 8282:8082 \\
       --name torchserve -v /home/yan/models:/home/model-server/model-store \\
       pytorch/torchserve:latest

启动后，将会通过 TCP 协议接收外界的一些模型相关操作。注意这里还没有注册模型，也就是还没法提供算法服务，只是启动了平台，算法需要在这个平台上注册才能提供服务。

注册模型

这里需要发送一个 POST 请求，注册模型，注意注册的模型需要确保启动 torchserve 时配置的文件夹中有对应的 .mar 文件。

$ curl --location --request POST 'http://localhost:8281/models' \\
	   --header 'Content-Type: application/json' \\
	   --data-raw '
		    "url": "my_cnn.mar",
		    "batch_size": 64,
		    "initial_workers": 1
	   '

测试

运行模型后，我们需要注意post请求中有个 url 参数，这个对应的是提供服务的地址，接下来的测试均需要访问这个路径。

$ curl --location --request POST 'http://localhost:8280/predictions/my_cnn' \\
--header 'Content-Type: application/json' \\
--data-raw '测试数据数据'

一般情况下会输出算法的结果，也就是前面提到打包时 --handler 预处理与后处理的文件.py 这个文件实现的内容。

总结

torchserve 是一个很好的工具，通过 tcp 协议完成算法模型与测试的交互，比如人脸识别模型可能需要训练很长时间才能完成，并且测试的时候可能在其他设备中，比如门禁、移动电话等等。

Smileyan
2023.02.28 19:58