jieba分词基础知识

Posted 2020-12-01 zry-yt

安装：pip install jieba

导包：import jieba

 

精确模式：试图将句子最精确地切开，适合文本分析(很像人类一样去分词)

　　jieba.cut(字符串) --> 返回生成器

str = ‘小明硕士毕业于中国科学院计算所，后在日本京都大学深造‘
ret = jieba.cut(str)
print(list(ret))

　　jieba.lcut(字符串) --> 返回列表

str = ‘小明硕士毕业于中国科学院计算所，后在日本京都大学深造‘
ret = jieba.lcut(str)
print(ret)

 

全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义(凡是词语全分)

　　jieba.cut(字符串, cut_all=True)

　　jieba.lcut(字符串, cut_all=True)

str = ‘小明硕士毕业于中国科学院计算所，后在日本京都大学深造‘
ret = jieba.lcut(str, cut_all=True)
print(ret)

 

 

搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词

　　jieba.cut_for_search(字符串)
　　jieba.lcut_for_search(字符串)

str = ‘小明硕士毕业于中国科学院计算所，后在日本京都大学深造‘
ret = jieba.lcut_for_search(str)
print(ret)

 

 

添加词语：当遇到添加的词语不会进行分词

　　jieba.add_word(字符串)

str = ‘如何让一个IT论坛瞬间炸锅，答案是，php是世界上最好的语言‘
jieba.add_word(‘PHP是世界上最好的语言‘)
ret = jieba.lcut(str)
print(ret)