jieba分词算法使用
Posted miquel
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了jieba分词算法使用相关的知识,希望对你有一定的参考价值。
第一步:先导入jieba分词包
1 import jieba 2 import jieba.analyse 3 import jieba.posseg
第二步:使用jieba分词的方法
常用的有:jieba.cut()、jieba.cut_for_search()和jieba.posseg.cut()-----------前者是无词性分词,中间为浏览器搜索,后者是有词性分词
其中jieba.cut()中除了需要加入被拆分的字符串还可以加入cut_all参数,true为全模式,false为精准模式
在客服机器人的项目中我使用的是精准模式。
第三步:转换输出类型
由于jieba.cut()返回的是generator类型,可以通过list()将返回值变为list类型,便于使用。
以上是关于jieba分词算法使用的主要内容,如果未能解决你的问题,请参考以下文章
机器学习之自然语言处理——中文分词jieba库详解(代码+原理)
自然语言处理之中文分词器-jieba分词器详解及python实战