中文词频统计

Posted 天空遗落之物

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了中文词频统计相关的知识,希望对你有一定的参考价值。

题目:

下载一长篇中文文章。

从文件读取待分析文本。

news = open(\'gzccnews.txt\',\'r\',encoding = \'utf-8\')

安装与使用jieba进行中文分词。

pip install jieba

import jieba

list(jieba.lcut(news))

生成词频统计

排序

排除语法型词汇,代词、冠词、连词

输出词频最大TOP20

 

 

#coding=utf-8
import jieba

f=open(\'story.txt\',\'r\',encoding=\'utf-8\')    #打开文件
text=f.read()      #读文件
wordlist=list(jieba.lcut(text))  #分解

Words={}
for i in set(wordlist):    #计算次数
    Words[i]=wordlist.count(i)

delete_word={\'\',\' \',\'\',\'我们\', \'\', \'他们\', \'我的\', \'他的\', \'你的\', \'\', \'\', \'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'?\',\'\',\'\',\\
           \'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\', \'\\n\',\'(\',\')\',\'\',\'\',\'\',\'便\',\'\',\'\',\'\',\'\',\'\',\'那里\',\\
           \'\',\'一个\',\'\',\'\',\'\',\'\'}

for i in delete_word:        #删除出现的过渡词
    if i in Words:
        del Words[i]

sort_word = sorted(Words.items(), key= lambda d:d[1], reverse = True)  # 排序
for i in range(20):
    print(sort_word[i])

 

截图:

 

以上是关于中文词频统计的主要内容,如果未能解决你的问题,请参考以下文章

Spark编程实战-词频统计

Spark编程实战-词频统计

中文词频统计

中文词频统计

中文词频统计

Python 分词后词频统计