中文词频统计
Posted 黄良龙
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了中文词频统计相关的知识,希望对你有一定的参考价值。
1.下载一中文长篇小说,并转换成UTF-8编码。
2.使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。
3.排除一些无意义词、合并同一词。
import jieba txt = open(\'wkz.txt\', \'r\', encoding=\'UTF-8\').read() for i in \',。!?:“”……()你我他她是没有一什么这为那这\': txt = txt.replace(i, \'\') words = list(jieba.cut(txt)) dic = {} for i in words: if len(i) == 1: continue else: dic[i] = dic.get(i, 0) + 1 wc = list(dic.items()) wc.sort(key=lambda x: x[1], reverse=True) # print(a) for i in range(20): print(wc[i])
《悟空传》
以上是关于中文词频统计的主要内容,如果未能解决你的问题,请参考以下文章