手把手教你用Jieba做中文分词
Posted 大数据DT
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了手把手教你用Jieba做中文分词相关的知识，希望对你有一定的参考价值。
导读：近年来，随着NLP技术日益成熟，开源实现的分词工具越来越多，如Ansj、HanLP、盘古分词等。本文我们选取了Jieba进行介绍。
pip install jieba-
精确模式：试图将句子精确地切开，适合文本分析。 -
全模式：把句子中所有可以成词的词语都扫描出来。全模式处理速度非常快，但是不能解决歧义。 -
搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适用于搜索引擎分词。
import jieba
sent = '中文分词是文本处理不可或缺的一步！'
seg_list = jieba.cut(sent, cut_all=True)
print('全模式：', '/ ' .join(seg_list))
seg_list = jieba.cut(sent, cut_all=False)
print('精确模式：', '/ '.join(seg_list))
seg_list = jieba.cut(sent)
print('默认精确模式：', '/ '.join(seg_list))
seg_list = jieba.cut_for_search(sent)
print('搜索引擎模式', '/ '.join(seg_list))
全模式：中文/ 分词/ 是/ 文本/ 文本处理/ 本处/ 处理/ 不可/ 不可或缺/ 或缺/ 的/ 一步/ /
精确模式：中文/ 分词/ 是/ 文本处理/ 不可或缺/ 的/ 一步/ ！
默认精确模式：中文/ 分词/ 是/ 文本处理/ 不可或缺/ 的/ 一步/ ！
搜索引擎模式中文/ 分词/ 是/ 文本/ 本处/ 处理/ 文本处理/ 不可/ 或缺/ 不可或缺/ 的/ 一步/ !涂铭，数据架构师和人工智能技术专家，曾就职于阿里，现就职于腾讯。对大数据、自然语言处理、图像识别、Python、Java等相关技术有深入的研究，积累了丰富的实践经验。
以上是关于手把手教你用Jieba做中文分词的主要内容，如果未能解决你的问题，请参考以下文章
太棒了 | 手把手教你用Python做一个 “举牌小人” 生成器！