中文词频统计

Posted LauSir

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了中文词频统计相关的知识,希望对你有一定的参考价值。

下载一长篇中文文章。

从文件读取待分析文本。

news = open(\'gzccnews.txt\',\'r\',encoding = \'utf-8\')

安装与使用jieba进行中文分词。

pip install jieba

import jieba

list(jieba.lcut(news))

生成词频统计

排序

排除语法型词汇,代词、冠词、连词

输出词频最大TOP20

# -*- coding : UTF-8 -*-
# -*- author : Kamchuen -*-

import jieba

exclude = {\'\',\'\',\':\',\'\',\'\',\'\',\'\',\'\',\'-\'}
txt = open(\'西游记.txt\',\'r\',encoding=\'utf-8\')
article0 = txt.read()
article1 = list(jieba.lcut(article0))

symbol = {\'\',\'\',\' \',\'\',\'\',\'\',\'\\n\',\'\',\'\',\'\',\'\'\'\',\' \',\'\',\'我们\', \'\', \'他们\', \'我的\', \'他的\', \'你的\', \'\', \'\', \'\',\'\',\'\',\'?\',\'\',\'\',\\
           \'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\', \'\\n\',\'(\',\')\',\'\',\'\',\'\',\'便\',\'\',\'\',\'\',\'\',\'\',\'那里\',\\
           \'\',\'一个\',\'\',\'\',\'\',\'\'}
article2 = {}
for a in article1:
    article2[a] = article2.get(a,0)+1

for b in symbol:
    if b in article2:
        del  article2[b]

article3 = sorted(article2.items(),key=lambda x:x[1],reverse=True)
for c in range(20):
    print(article3[c])

结果截图:

 

以上是关于中文词频统计的主要内容,如果未能解决你的问题,请参考以下文章

Spark编程实战-词频统计

Spark编程实战-词频统计

中文词频统计

中文词频统计

中文词频统计

Python 分词后词频统计