中文分词——Python结巴分词器
Posted 青风一缕
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了中文分词——Python结巴分词器相关的知识，希望对你有一定的参考价值。
#encoding=utf-8import jieba
seg_list = jieba.cut("我来到北京清华大学",cut_all=True)print "Full Mode:", "/ ".join(seg_list) #全模式seg_list = jieba.cut("我来到北京清华大学",cut_all=False)print "Default Mode:", "/ ".join(seg_list) #精确模式seg_list = jieba.cut("他来到了网易杭研大厦") #默认是精确模式print ", ".join(seg_list)
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") #搜索引擎模式print ", ".join(seg_list)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Output:
【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
【精确模式】: 我/ 来到/ 北京/ 清华大学
【新词识别】：他, 来到, 了, 网易, 杭研, 大厦 (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)
【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造
下面我们利用结巴分词器来对文本集中的所有文本进行分词，具体代码如下：
#!/usr/bin/python#-*- coding: utf-8 -*-import sysimport osimport jiebaimport re
reload(sys)
sys.setdefaultencoding('utf-8')#对中文文本数据集进行分词'''注意: 1、输入的数据集路径必须是基目录/数据集名，数据集下是类别子目录，类别下是文本 2、停用词表被放在了程序的当前目录下 3、停用词表是我自己整理的，可以改用别的，或者不去掉停用词 4、分词结果只包含中文\u4e00-\u9fa5，无其他特殊符合和数字 5、如遇编码问题，请自行百度 '''#对文本进行分词def segment(textpath,savepath):
global stopwords
content=open(textpath,'r+').read()#读取文本内容
writer=open(savepath,'w+') #content=content.decode('gb2312','ignore')#将gbk编码转为unicode编码
#content=content.encode('utf-8','ignore')#将unicode编码转为utf-8编码
#print content #打印文本内容
text=jieba.cut(content)#分词,默认是精确分词
#print "/".join(text)
for word in text: #通过合并所有中文内容得到纯中文内容
word=''.join(re.findall(u'[\u4e00-\u9fa5]+', word))#去掉不是中文的内容
word=word.strip() if(len(word)!=0 and not stopwords.__contains__(word)):#去掉在停用词表中出现的内容
#print word
writer.write(word+"\n")
writer.flush()
writer.close() print savepath+"保存好了"#对整个文本集进行分词def main(dir_name,tar_name):
if(not os.path.exists(tar_name)):
os.mkdir(tar_name)#不存在则新建目录
classes=os.listdir(dir_name)#该目录下的子目录，即各个类别
for c in classes: #print c #类别
label=dir_name+"/"+c
files=os.listdir(label)#获取目录下的所有文本文件
tarLabel=tar_name+"/"+c#将文本保存在相应类别的目录下
if(not os.path.exists(tarLabel)):
os.mkdir(tarLabel) #print files
for f in files: #print f #打印文件名
textpath=label+"/"+f
savepath=tarLabel+"/"+f
segment(textpath,savepath)
dir_name = u"F:\\各种数据集\\复旦语料库\\train"#数据集路径tar_name=u"trainSegment"#保存路径stopwords = [line.strip() for line in open('cstopword.dic').readlines() ]#读取中文停用词表main(dir_name,tar_name)以上是关于中文分词——Python结巴分词器的主要内容，如果未能解决你的问题，请参考以下文章