中文词频统计

Posted 2020-10-28 After17

下载一长篇中文文章。

从文件读取待分析文本。

news = open(\'gzccnews.txt\',\'r\',encoding = \'utf-8\')

安装与使用jieba进行中文分词。

pip install jieba

import jieba

list(jieba.lcut(news))

生成词频统计

排序

排除语法型词汇，代词、冠词、连词

输出词频最大TOP20

 

将代码与运行结果截图发布在博客上。

import jieba
text = open(\'jinpingmei.txt\',encoding=\'utf-8\').read()
textList = list(jieba.lcut(text))
useless = {\'，\',\'。\',\' \',\'了\',\'：\',\'“\',\'”\',\'的\',\'\\n\',\'他\',\'道\',\'你\',\'我\',\'在\',\'？\',\\
           \'来\',\'说\',\'去\',\'与\',\'不\',\'是\',\'、\',\'也\',\'又\',\'！\',\'着\',\'儿\',\'这\',\'到\',\'就\', \\
           \'把\',\'那\',\'有\',\'上\',\'都\',\'便\',\'和\',\'说道\',\'等\',\'只\',\'要\',\'小\',\'罢\',\'问\',\'那里\',\\
           \'怎\',\'一个\',}

textDic = {}
for i in textList:
    textDic[i] = textDic.get(i,0)+1
    
for d in useless:
    del textDic[d]
    
textLs = list(textDic.items())
textLs.sort(key=lambda e:e[1],reverse=True)
for s in range(20):
    print(textLs[s])