Python自然语言处理常用库——jieba库

Posted 2022-12-21 AI算法攻城狮

分词方法

jieba.cut

方法接受四个输入参数

①需要分词的字符串；

②cut_all参数用来控制是否采用全模式；

③HMM参数用来控制是否使用HMM模型；

④use_paddle参数用来控制是否使用paddle模式下的分词模式，enable_paddle接口安装paddlepaddle-tiny，并且import相关代码。

jieba.cut_for_search

方法接受两个参数：

①需要分词的字符串；

②是否使用HMM模型。

该方法适合用于搜索引擎构建待排索引的分词，粒度比较细。

编码

待分词的字符串可以是unicode、UTF-8、GBK字符串。
注意：不建议直接输入GBK字符串，可能无法预料地错误解码成UTF-8

jieba.cut以及jieba.cut_for_search

返回的结构都是一个可迭代的generator，可以使用for循环来获取分词后得到的每一个词语(unicode)，或者用jieba.cut以及jieba.cut_for_search直接返回list

jiaba.tokenizer(dictionary=DEFAULT_DICT)

新建自定义分词器，可用于同时使用不同词典。jieba.dt为默认分词器。所有全局分词相关函数都是该分词器的映射。