Python 进行 结巴 分词
Posted 菜鸟da号
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python 进行 结巴 分词相关的知识，希望对你有一定的参考价值。
#一直因为这个编码问题没有分出来 ，后来多试验了几次就行了，供大家参考一下
import jieba
f1=open(‘all.txt‘,‘r‘,encoding=‘utf-8‘,errors=‘ignore‘)
f2=open(‘allutf8.txt‘,‘w‘,encoding=‘utf-8‘)
line=f1.readline()
while line:
seg_list=jieba.cut(line,cut_all=False)
f2.write(" ".join(seg_list))
line=f1.readline()
print(f2)
f1.close()
f2.close()
以上是关于Python 进行 结巴 分词的主要内容，如果未能解决你的问题，请参考以下文章