百度飞桨:ERNIE 3.0 通用信息抽取 UIEpaddleNLP的安装使用[一]

Posted 汀、

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了百度飞桨:ERNIE 3.0 通用信息抽取 UIEpaddleNLP的安装使用[一]相关的知识,希望对你有一定的参考价值。

https://github.com/PaddlePaddle/PaddleNLPhttps://github.com/PaddlePaddle/PaddleNLP

1.安装paddle

参考官网:开始使用_飞桨-源于产业实践的开源深度学习平台

首先在anaconda下创建虚拟环境:

conda create -n test  python=3.8 #test为创建的虚拟环境名称

在安装paddle

python -m pip install paddlepaddle==2.3.0 -i https://mirror.baidu.com/pypi/simple

验证安装

安装完成后您可以使用 python 进入python解释器,输入import paddle ,再输入 paddle.utils.run_check()

如果出现PaddlePaddle is installed successfully!,说明您已成功安装。

  • 环境主要安装Python和Paddle对应版本要求的环境,中间建议使用pip安装方式进行安装。
  • Python3版本要求:python3.7及以上版本,参考Welcome to Python.org
  • PaddlePaddle版本要求:paddlepaddle2.0+版本,参考MacOS下的PIP安装-使用文档-PaddlePaddle深度学习平台
  • Paddle环境的安装,需要确认Python和pip是64bit,并且处理器架构是x86_64(或称作x64、Intel 64、AMD64)架构,目前PaddlePaddle不支持arm64架构(mac M1除外,paddle 已支持Mac M1 芯片)。下面的第一行输出的是”64bit”,第二行输出的是”x86_64”、”x64”或”AMD64”即可:
python -c "import platform;print(platform.architecture()[0]);print(platform.machine())"

2.通用信息抽取 UIE

paddlenlp安装

环境依赖

  • python >= 3.6
  • paddlepaddle >= 2.2
pip install --upgrade paddlenlp
show paddlenlp

2.1 PaddleNLP一键预测功能:Taskflow API

环境依赖

  • python >= 3.6
  • paddlepaddle >= 2.2.0
  • paddlenlp >= 2.2.5
任务名称调用方式一键预测单条输入多条输入文档级输入定制化训练其它特性
中文分词Taskflow("word_segmentation")多种分词模式,满足快速切分和实体粒度精准切分
词性标注Taskflow("pos_tagging")基于百度前沿词法分析工具LAC
命名实体识别Taskflow("ner")覆盖最全中文实体标签
依存句法分析Taskflow("dependency_parsing")基于最大规模中文依存句法树库研发的DDParser
信息抽取Taskflow("information_extraction")适配多场景的开放域通用信息抽取工具
『解语』-知识标注Taskflow("knowledge_mining")覆盖所有中文词汇的知识标注工具
文本纠错Taskflow("text_correction")融合拼音特征的端到端文本纠错模型ERNIE-CSC
文本相似度Taskflow("text_similarity")基于百度知道2200万对相似句组训练
情感倾向分析Taskflow("sentiment_analysis")基于情感知识增强预训练模型SKEP达到业界SOTA
生成式问答Taskflow("question_answering")使用最大中文开源CPM模型完成问答
智能写诗Taskflow("poetry_generation")使用最大中文开源CPM模型完成写诗
开放域对话Taskflow("dialogue")十亿级语料训练最强中文闲聊模型PLATO-Mini,支持多轮对话

 PaddleNLP提供一键预测功能,无需训练,直接输入数据即可开放域抽取结果:【信息提取】

from pprint import pprint

from paddlenlp import Taskflow

schema = ['时间', '选手', '赛事名称'] # Define the schema for entity extraction

ie = Taskflow('information_extraction', schema=schema) #花费时间会安装文件

pprint(ie("2月8日上午北京冬奥会自由式滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌!"))
['时间': ['end': 6,
          'probability': 0.9857379716035553,
          'start': 0,
          'text': '2月8日上午'],
  '赛事名称': ['end': 23,
            'probability': 0.8503087823987343,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'],
  '选手': ['end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌']]

 当然定义实体提取的模式有一定灵活性:

ie = Taskflow('information_extraction', schema=schema)
['分数': ['end': 39,
          'probability': 0.9873907344274926,
          'start': 32,
          'text': '188.25分'],
  '时间': ['end': 6,
          'probability': 0.9857379716035553,
          'start': 0,
          'text': '2月8日上午'],
  '赛事名称': ['end': 23,
            'probability': 0.8503087823987343,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'],
  '选手': ['end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌']]

 这里如果增加“”“奖牌、名次”等实体则无法实现

schema = ['时间', '选手', '赛事名称',"城市","分数"] # Define the schema for entity extraction
['分数': ['end': 39,
          'probability': 0.9873907344274926,
          'start': 32,
          'text': '188.25分'],
  '城市': ['end': 8,
          'probability': 0.8775704061407907,
          'start': 6,
          'text': '北京'],
  '时间': ['end': 6,
          'probability': 0.9857379716035553,
          'start': 0,
          'text': '2月8日上午'],
  '赛事名称': ['end': 23,
            'probability': 0.8503087823987343,
            'start': 6,
            'text': '北京冬奥会自由式滑雪女子大跳台决赛'],
  '选手': ['end': 31,
          'probability': 0.8981548639781138,
          'start': 28,
          'text': '谷爱凌']]

2.2 小样本调参----轻定制功能

如果对一键预测效果不满意,也可以使用少量数据进行模型精调,进一步提升特定场景的效果,详见UIE小样本定制训练

PaddleNLP/model_zoo/uie at develop · PaddlePaddle/PaddleNLP · GitHubEasy-to-use and powerful NLP library with Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including Neural Search, Question Answering, Information Extraction and Sentiment Analysis end-to-end system. - PaddleNLP/model_zoo/uie at develop · PaddlePaddle/PaddleNLPhttps://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie我们推荐使用数据标注平台doccano 进行数据标注

对于简单的抽取目标可以直接使用paddlenlp.Taskflow实现零样本(zero-shot)抽取,对于细分场景我们推荐使用轻定制功能(标注少量数据进行模型微调)以进一步提升效果。下面通过报销工单信息抽取的例子展示如何通过5条训练数据进行UIE模型微调。

代码结构:
├── utils.py          # 数据处理工具
├── model.py          # 模型组网脚本
├── doccano.py        # 数据标注脚本
├── doccano.md        # 数据标注文档
├── finetune.py       # 模型微调脚本
├── evaluate.py       # 模型评估脚本
└── README.md

标注安装和标注指南:

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/uie/doccano.md

最终效果展示:

Few-Shot实验

我们在互联网、医疗、金融三大垂类自建测试集上进行了实验:

金融医疗互联网
0-shot5-shot0-shot5-shot0-shot5-shot
uie-tiny41.1164.5365.4075.7278.3279.68
uie-base46.4370.9271.8385.7278.3381.86

0-shot表示无训练数据直接通过paddlenlp.Taskflow进行预测,5-shot表示基于5条标注数据进行模型微调。实验表明UIE在垂类场景可以通过少量数据(few-shot)进一步提升效果。

3.PaddleNLP Transformer预训练模型

PaddleNLP Transformer预训练模型 — PaddleNLP 文档

PaddleNLP的Transformer预训练模型包含从 huggingface.co 直接转换的模型权重和百度自研模型权重,方便社区用户直接迁移使用。 目前共包含了40多个主流预训练模型,500多个模型权重。

Transformer预训练模型适用任务汇总

Model

Sequence Classification

Token Classification

Question Answering

Text Generation

Multiple Choice

ALBERT

BART

BERT

BigBird

Blenderbot

Blenderbot-Small

ChineseBert

ConvBert

CTRL

DistilBert

ELECTRA

ERNIE

ERNIE-CTM

ERNIE-DOC

ERNIE-GEN

ERNIE-GRAM

ERNIE-M

FNet

Funnel

GPT

LayoutLM

LayoutLMV2

LayoutXLM

Luke

MBart

MegatronBert

MobileBert

MPNet

NeZha

PPMiniLM

ProphetNet

Reformer

RemBert

RoBERTa

RoFormer

SKEP

SqueezeBert

T5

TinyBert

UnifiedTransformer

XLNet

使用预训练模型Fine-tune完成中文文本分类任务

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/text_classification/pretrained_models/

开发者涨薪指南 48位大咖的思考法则、工作方式、逻辑体系

以上是关于百度飞桨:ERNIE 3.0 通用信息抽取 UIEpaddleNLP的安装使用[一]的主要内容,如果未能解决你的问题,请参考以下文章

基于Ernie-3.0 CAIL2019法研杯要素识别多标签分类任务

PaddleNLP--UIE--小样本快速提升性能(含doccona标注)

提速1000倍,预测延迟少于1ms,百度飞桨发布基于ERNIE的语义理解开发套件

提速1000倍,预测延迟少于1ms,百度飞桨发布基于ERNIE的语义理解开发套件

快递单信息抽取--五条标注数据提高准确率,仅需五条标注样本,快速完成快递单信息任务

中文预训练模型ERNIE2.0模型下载及安装