jieba分词的功能和性能分析

Posted 2021-05-15 linkcxt

jieba分词问题导引

1. 用户词典大小最大可以有多大

2. 用户词典大小对速度的影响

3. 有相同前缀和后缀的词汇如何区分

4. 对比百度分词的API

问题一：词典大小

从源码大小分析，整个jieba分词的源码总容量为81MB，其中系统词典dict.txt的大小为5.16MB，所以用户词典至少可以大于5.16MB，在从词典中的词语数量来看，系统词典的总的词语数共349047行，每一行包括词语、词频、词性三个属性，所以初步可以判断用户词典可以很大。

import pandas as pd
import numpy as np
import os
path = os.getcwd()
print(path)
dict_path = os.path.join(path, \'medical_dict\')
#调用pandas的read_csv()方法时，默认使用C engine作为parser engine，而当文件名中含有中文的时候，用C engine在部分情况下就会出错。所以在调用read_csv()方法时指定engine为Python就可以解决问题了。
res = pd.read_csv(dict_path+\'\\\\部位.txt\',sep=\' \',header=None,encoding=\'utf-8\',engine=\'python\')
res = res.append( pd.read_csv(dict_path+\'\\\\疾病.txt\',sep=\' \',header=None,encoding=\'utf-8\',engine=\'python\') )
res = res.append( pd.read_csv(dict_path+\'\\\\检查.txt\',sep=\' \',header=None,encoding=\'utf-8\',engine=\'python\') )
res = res.append( pd.read_csv(dict_path+\'\\\\手术.txt\',sep=\' \',header=None,encoding=\'utf-8\',engine=\'python\') )
res = res.append( pd.read_csv(dict_path+\'\\\\药品.txt\',sep=\' \',header=None,encoding=\'utf-8\',engine=\'python\') )
res = res.append( pd.read_csv(dict_path+\'\\\\症状.txt\',sep=\' \',header=None,encoding=\'utf-8\',engine=\'python\') )
res = res.append( pd.read_csv(dict_path+\'\\\\中药.txt\',sep=\' \',header=None,encoding=\'utf-8\',engine=\'python\') )
​
print(res.count())

0 35885
1 35880
2 35880

将35885个医疗词典放入，远比系统词典小。之后导出为一个用户词典，代码如下：

res[2] = res[1]
res[1] = 883635
print(res.head())
res.to_csv(dict_path+\'\\\\medicaldict.txt\',sep=\' \',header=False,index=False)

测试语句

#encoding=utf-8
import jieba
import jieba.posseg as pseg
import os
path = os.getcwd()
# 添加用户词典
jieba.load_userdict(path + "\\\\medical_dict\\\\medicaldict.txt")
print( path + "\\\\medical_dict\\\\medicaldict.txt" )
test_sent = (
"患者1月前无明显诱因及前驱症状下出现腹泻，起初稀便，后为水样便，无恶心呕吐，每日2-3次，无呕血，无腹痛，无畏寒寒战，无低热盗汗，无心悸心慌，无大汗淋漓，否认里急后重感，否认蛋花样大便，当时未重视，未就诊。")
words = jieba.cut(test_sent)
print(\'/\'.join(words))

Building prefix dict from the default dictionary ...
Loading model from cache C:\\Users\\Public\\Documents\\Wondershare\\CreatorTemp\\jieba.cache
Loading model cost 0.921 seconds.
Prefix dict has been built succesfully.
D:\\code\\jiebafenci\\jieba\\medical_dict\\medicaldict.txt
患者/1/月前/无/明显/诱因/及/前驱/症状/下/出现/腹泻/，/起初/稀便/，/后/为/水样便/，/无/恶心/呕吐/，/每日/2/-/3/次/，/无/呕血/，/无/腹痛/，/无/畏寒/
寒战/，/无/低热/盗汗/，/无/心悸/心慌/，/无/大汗淋漓/，/否认/里急后重/感/，/否认/蛋/花样/大便/，/当时/未/重视/，/未/就诊/。

结果正常，判别一条症状的响应速度快，jieba分词是足以将所有的医疗词汇放入，对于性能的影响可以在进一步分析。

问题二：词典大小对效率的影响

1. 35885个词语，1条测试语句

load time: 1.0382411479949951s
cut time: 0.0s

2. 71770个词语，1条测试语句

load time: 1.4251623153686523s
cut time: 0.0s

5. 1148160个词语

load time: 7.892921209335327s
cut time: 0.0s

逐渐变慢了

6. 2296320个词语

load time: 15.106632471084595s
cut time: 0.0s

在本机已经开始变得很慢了

7. 4592640个词语

load time: 30.660043001174927s
cut time: 0.0s

8. 9185280个词语

load time: 56.30760192871094s

9. 18370560个词语

load time: 116.30s

制作为折线图如上，基本上词语大小和加载速度呈正比。但是加载的词典一般保留在内存中，对内存和I/O负担较大。

之后将2220条病史数据导入后，对分词处理时间依然没有什么影响，在0.1s以内，分词时间可以忽略。

问题三：有相同前缀和后缀的词汇如何区分

1. 关于无尿急、尿频、尿痛，在jieba分词导入用户词典后是能正确区分的，相关病例如下

/患者/3/小时/前/无/明显/诱因/出现/上/腹部/疼痛/，/左/上腹/为主/，/持续性/隐痛/，/无/放射/，/无/恶心/及/呕吐/，/无/泛酸/及/嗳气/，/无/腹胀/及/腹泻/，/无/咳嗽/及/咳痰/，/无/胸闷/及/气急/，/无/腰酸/及/腰疼/，/无/尿急/、/尿频/及/尿痛/，/无/头晕/，/无/黒/曚/，/无/畏寒/及/发热/，/无尿/黄/，/无/口苦/，/来/我院/求治/。

但是无尿黄划分成了无尿/黄，在查找用户词典后，发现是词典中没有尿黄的症状，为词典问题，便跳过处理。但是在症状中确实同时存在无尿和尿频，初步分析可能是词语在词典中的顺序，或者是jieba分词系统内部的分词策列导致，现在分析第一种可能，在词典中无尿在14221行，尿频在13561行，现在将无尿放在第一行，看分词结果。结果仍然为无/尿频，所以结果为是jieba分词内部的算法策略，当两个词语的词频相同是，后匹配的词语优先，比如在词语匹配中尿频比无尿后匹配，所以最后区分尿频，这与正确的分法也相匹配。

2. 再比如腰部酸痛，在部位中有腰部这个词语，在症状中也有腰部酸痛这个词语，测试jieba分词会如何区分

测试词典：
腰部 883635
酸痛 883635
腰部酸痛 883635
测试结果：
腰部酸痛

将词典顺序交换后，并将腰部和疼痛的词频都设置成大于883635的值后，结果仍然是腰部酸痛，所以可以得出jieba分词更倾向于分长度更长的词语，即使短的词语的词频较大也会优先分长度更长的。而我去向自己学医的同学了解后，他也认为分成长词更合理，所以也不用处理。

3. 在查看病例中，发现很多病例中存在方位名 + 部位名的词语，并且应该分成一个词语，如下代码实现添加方位名+部位名的词典，如词典中已经存在，便跳过。

res = pd.read_csv(dict_path+\'\\\\部位.txt\',sep=\' \',header=None,encoding=\'utf-8\',engine=\'python\')
direct = [\'上\',\'下\',\'左\',\'右\',\'前\',\'后\']
print(res[0].head())
resum = res[0].count()
print(resum)
result = res[0]
# 在部位名前加上方位名
for item in res[0].tolist():
if(item[0] in direct):
continue
else:
temp = Series([\'左\' + item, \'右\' + item], index = [resum+1,resum+2])
resum = resum + 2
result = result.append(temp)
print(result.tail())
df = pd.DataFrame(result)
print(df.describe())

百度分词

github地址 : https://github.com/baidu/lac/

实现代码

from LAC import LAC
​
# 装载分词模型
lac = LAC(mode=\'seg\')
​
# 单个样本输入，输入为Unicode编码的字符串
text = u"LAC是个优秀的分词工具"
seg_result = lac.run(text)
​
# 批量样本输入, 输入为多个句子组成的list，平均速率会更快
texts = [u"腰部酸痛"]
lac.load_customization(\'userdict.txt\', sep=None)
seg_result = lac.run(texts)
print(seg_result)

用户词典只需要添加词语和词性即可。经过测试得到结论：

1.百度分词无词频的概念，但是也更倾向于分长度更长的词语。

2. 后匹配的词语优先，如无尿频，也会划分成无/尿频，与词典中的顺序无关。