森说AI：使用paddlehub来实现基于文本审核的AI鉴黄

Posted 2022-12-05 「已注销」

前言

其实以前我想要用用paddlenlp去做文本情感分析，但是后来就不草了之了，突然看到了一个叫做文本审核的东西，有激发起了兴趣，这回我们结合paddlehub来实现！

paddlehub使用

paddlehub中有这个观点模型及软件，里面有很多预训练模型，所以很多都是可以拿来就可以使用的！

pip安装paddlehub

!pip install paddlehub -i https://mirror.baidu.com/pypi/simple

安装porn_detection_lstm模型

这里我们先找到我们的文本审核的模型然后用hub安装：

!hub install porn_detection_lstm==1.1.0

我们先来体验一下模型效果

预测的输入有两种方法一是直接输入字符串，这里最大支持256个字符，二是直接输入一个txt文件，里面放入字符串，下面来看一下：

!hub run porn_detection_lstm --input_text "黄片下载"
!hub run porn_detection_lstm --input_file test.txt

可以看到第一个是，第二个不是，第二个我写的是打击黄牛这个字符

我们来看一下这里的api

detection(texts=[], data=, use_gpu=False, batch_size=1)
这里面的话文件和变量二选一。

服务部署

这里我们先启动PaddleHub Serving

!hub serving start -m porn_detection_lstm

然后我们得到了我们的本地接口

>>Running on http://0.0.0.0:8866/

这里面说一下我们运行上面的那个服务的时候有两个地方要注意：一是如果我们要用gpu预测的话就要先声明一下，二是我们运行的话是一直运行的，所以在ai studio上要用终端执行，然后在代码块上访问地址。

发送预测请求

我们请求的时候是用到了request这个库的post请求，然后我们得到json的数据，所以也要导入一下json这个库

import request
import json

然后我们先定义一个text变量来放入我们的数据：

text = ["黄片下载", "打击黄牛党"]

然后我们输入配置

# 对应本地预测porn_detection_lstm.detection(texts=text, batch_size=1, use_gpu=True)
data = "texts": text, "batch_size": 1, "use_gpu":True

然后我们请求数据

# 指定预测方法为porn_detection_lstm并发送post请求，content-type类型应指定json方式
# HOST_IP为服务器IP
url = "http://HOST_IP:8866/predict/porn_detection_lstm"
headers = "Content-Type": "application/json"
r = requests.post(url=url, headers=headers, data=json.dumps(data))

最后输出一下数据

# 打印预测结果
print(json.dumps(r.json(), indent=4, ensure_ascii=False))

报错了及其解决

但是我们运行的时候出现了报错

看着是访问地址的时候出现的错误，我得去看看。
然后我改了个参数就解决了，好菜，

这里就是将url = "http://HOST_IP:8866/predict/porn_detection_lstm"中的http://HOST_IP:8866改成成我们在上一步得到的地址："http://0.0.0.0:8866

效果展示

项目链接 https://aistudio.baidu.com/aistudio/projectdetail/2282985