自然语言处理工具箱 LTP pyltp 使用教程

Posted 2022-01-27 ZSYL

【自然语言处理工具箱 LTP 】pyltp 使用

• 使用前请先下载完整模型
• 请注意编码
• 分句
• 分词
• 使用分词外部词典
• 词性标注
• 命名实体识别

pyltp 是 LTP 的 Python 封装，提供了分词，词性标注，命名实体识别，依存句法分析，语义角色标注的功能。

使用前请先下载完整模型

请先下载完整的 LTP 模型文件

• 下载地址：百度云 7G+大小

• 当前模型版本 - 3.4.0

• 请确保下载的模型版本与当前版本的 pyltp 对应，否则会导致程序无法正确加载模型。

• 放到任意方便调用的地方即可， 因为程序里需要你自己主动调用的。

请注意编码

pyltp 的所有输入的分析文本和输出的结果的编码均为 UTF-8。

如果您以非 UTF-8 编码的文本输入进行分析，结果可能为空。请注意源代码文件的默认编码。

由于 Windows 终端采用 GBK 编码显示，直接输出 pyltp 的分析结果会在终端显示为乱码。您可以将标准输出重定向到文件，以 UTF8 方式查看文件，就可以解决显示乱码的问题。

分句

使用 pyltp 进行分句示例如下:

from pyltp import SentenceSplitter

sents = SentenceSplitter.split('元芳你怎么看？我就趴窗口上看呗！')  # 分句
print('\\n'.join(sents))

结果如下:

元芳你怎么看？
我就趴窗口上看呗！

分词

使用 pyltp 进行分词示例如下:

import os
LTP_DATA_DIR = '/path/to/your/ltp_data'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

from pyltp import Segmentor
segmentor = Segmentor()  # 初始化实例
segmentor.load(cws_model_path)  # 加载模型
words = segmentor.segment('元芳你怎么看')  # 分词
print '\\t'.join(words)

segmentor.release()  # 释放模型

结果如下：

元芳  你       怎么      看

words = segmentor.segment('元芳你怎么看') 的返回值类型是native的VectorOfString类型，可以使用list转换成Python的列表类型，例如:

>>> words = segmentor.segment('元芳你怎么看')
>>> type(words)
<class 'pyltp.VectorOfString'>
>>> words_list = list(words)
>>> type(words_list)
<type 'list'>
>>> print words_list
['元芳', '你', '怎么', '看']

使用分词外部词典

pyltp 分词支持用户使用自定义词典。分词外部词典本身是一个文本文件（plain text），每行指定一个词，编码同样须为 UTF-8，样例如下所示

苯并芘
亚硝酸盐

示例如下

import os
LTP_DATA_DIR = '/path/to/your/ltp_data'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

from pyltp import Segmentor
segmentor = Segmentor()  # 初始化实例
segmentor.load_with_lexicon(cws_model_path, '/path/to/your/lexicon') # 加载模型，第二个参数是您的外部词典文件路径
words = segmentor.segment('亚硝酸盐是一种化学物质')
print '\\t'.join(words)
segmentor.release()

词性标注

使用 pyltp 进行词性标注示例如下:

import os
LTP_DATA_DIR = '/path/to/your/ltp_data'  # ltp模型目录的路径
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 词性标注模型路径，模型名称为`pos.model`

from pyltp import Postagger
postagger = Postagger() # 初始化实例
postagger.load(pos_model_path)  # 加载模型

words = ['元芳', '你', '怎么', '看']  # 分词结果
postags = postagger.postag(words)  # 词性标注

print '\\t'.join(postags)
postagger.release()  # 释放模型

结果如下:

nh  r       r       v

参数 words 是分词模块的返回值，也支持Python原生的list类型，例如:

words = ['元芳', '你', '怎么', '看']
postags = postagger.postag(words)

LTP 使用 863 词性标注集，详细请参考 词性标注集 。

Tag	Description	Example	Tag	Description	Example
a	adjective	美丽	ni	organization name	保险公司
b	other noun-modifier	大型, 西式	nl	location noun	城郊
c	conjunction	和, 虽然	ns	geographical name	北京
d	adverb	很	nt	temporal noun	近日, 明代
e	exclamation	哎	nz	other proper noun	诺贝尔奖
g	morpheme	茨, 甥	o	onomatopoeia	哗啦
h	prefix	阿, 伪	p	preposition	在, 把
i	idiom	百花齐放	q	quantity	个
j	abbreviation	公检法	r	pronoun	我们
k	suffix	界, 率	u	auxiliary	的, 地
m	number	一, 第一	v	verb	跑, 学习
n	general noun	苹果	wp	punctuation	，。！
nd	direction noun	右侧	ws	foreign words	CPU
nh	person name	杜甫, 汤姆	x	non-lexeme	萄, 翱
			z	descriptive words	瑟瑟，匆匆

命名实体识别

使用 pyltp 进行命名实体识别示例如下:

print("命名实体识别:")
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model')  # 命名实体识别模型路径，模型名称为`ner.model`
from pyltp import NamedEntityRecognizer
recognizer = NamedEntityRecognizer()   # 初始化实例
recognizer.load(ner_model_path)  # 加载模型

words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
netags = recognizer.recognize(words, postags)  # 命名实体识别
print('\\t'.join(netags))
recognizer.release()  # 释放模型

其中，words 和 postags 分别为分词和词性标注的结果。同样支持Python原生的list类型。

结果如下:

S-Nh        O       O       O

LTP 采用 BIESO 标注体系。B 表示实体开始词，I表示实体中间词，E表示实体结束词，S表示单独成实体，O表示不构成命名实体。

LTP 提供的命名实体类型为:人名（Nh）、地名（Ns）、机构名（Ni）。

B、I、E、S位置标签和实体类型标签之间用一个横线 - 相连；O标签后没有类型标签。

详细标注请参考：命名实体识别标注集 。

参考：https://pyltp.readthedocs.io/zh_CN/latest/api.html#id2

---

加油!

感谢!

努力!