jieba库的使用

Posted 2020-12-07 xjfyt0129

• jieba是python的第三方库，使用jieba库需要先安装。jieba是一个中文分词库，可以根据所给的中文句子，提取出可能的词组
• jieba库分词依靠词库。利用中文词库，确定汉字之间的关联概率。概率大的组成词组，形成分词效果。除了分词，用户还可以添加自定义的词组
• jieba提供了三种分词模式，精确模式、全模式和搜索引擎模式

安装jieba库，在命令行中输入以下语句就可以安装，前提是安装了python和pip

pip install jieba

jieba库常用函数有四个，分别对应三种分词模式和一种向词库添加新词的功能

1、lcut(s)
精确模式，返回一个列表类型的分词结果，不存在冗余词

import jieba
str="世界那么大，我想去看看"
s=jieba.lcut(str)
print(s)

运行结果：

[‘世界‘, ‘那么‘, ‘大‘, ‘，‘, ‘我‘, ‘想‘, ‘去‘, ‘看看‘]

2、lcut(s,cut_all=True)
全模式，返回一个列表类型分词结果，存在冗余。

import jieba
str="世界那么大，我想去看看"
s=jieba.lcut(str,cut_all=True)
print(s)

运行结果：

[‘世界‘, ‘那么‘, ‘大‘, ‘，‘, ‘我‘, ‘想去‘, ‘看看‘]

3、lcut_for_search(s)
搜索引擎模式，返回一个列表类型的分词结果，存在肉哦能够与。是在精确模式的基础上，对长词再次划分

import jieba
str="世界那么大，我想去看看"
s=jieba.lcut_for_search(str)
print(s)

运行结果：

[‘世界‘, ‘那么‘, ‘大‘, ‘，‘, ‘我‘, ‘想‘, ‘去‘, ‘看看‘]

4、add_word(w)
向分词词典中添加新词w

import jieba
str="世界那么大，我想去看看"
s1=jieba.lcut(str)
print(s1)                            #添加分词前的分词效果
jieba.add_word(‘世界那么‘)
s2=jieba.lcut(str)               
print(s2)                            #添加分词的后的分词效果

运行结果：

[‘世界‘,‘那么‘, ‘大‘, ‘，‘, ‘我‘, ‘想‘, ‘去‘, ‘看看‘]
[‘世界那么‘, ‘大‘, ‘，‘, ‘我‘,‘想‘,‘去‘, ‘看看‘]