LTP 4.0!单模型完成6项自然语言处理任务
Posted PaperWeekly
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了LTP 4.0!单模型完成6项自然语言处理任务相关的知识,希望对你有一定的参考价值。
背景
特色
基于多任务学习框架进行统一学习,使得全部六项任务可以共享语义信息,达到了知识迁移的效果。既有效提升了系统的运行效率,又极大缩小了模型的占用空间
基于预训练模型进行统一的表示 ,有效提升了各项任务的准确率
基于教师退火模型蒸馏出单一的多任务模型,进一步提高了系统的准确率
基于PyTorch框架开发,提供了原生的Python调用接口,通过pip包管理系统一键安装,极大提高了系统的易用性
性能
Python 3.7
LTP 4.0 Batch Size = 1
CentOS 3.10.0-1062.9.1.el7.x86_64
Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40GHz
使用
from ltp import LTP
ltp = LTP() # 默认自动下载并加载 Small 模型
segment, hidden = ltp.seg(["他叫汤姆去拿外衣。"])
pos = ltp.pos(hidden)
ner = ltp.ner(hidden)
srl = ltp.srl(hidden)
dep = ltp.dep(hidden)
sdp = ltp.sdp(hidden)
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
以上是关于LTP 4.0!单模型完成6项自然语言处理任务的主要内容,如果未能解决你的问题,请参考以下文章