综合练习：词频统计

Posted 2020-10-28 112李立建

综合练习

词频统计预处理

下载一首英文的歌词或文章

将所有,.？！’:等分隔符全部替换为空格

将所有大写转换为小写

生成单词列表

生成词频统计

排序

排除语法型词汇，代词、冠词、连词

输出词频最大TOP20

将分析对象存为utf-8编码的文件，通过文件读取的方式获得词频分析内容。

fo=open(\'test.txt\',\'r\')
str=fo.read()
fo.close()

rap=\'\'\',?!\'\'\'
exculde={\'the\',\'one\',\'i\',\'to\',\'is\',\'so\',\'and\',\'how\',\'me\'}
for c in rap:
    str=str.replace(c," ")
wordList=str.lower().split()

wordDict={}

wordSet=set(wordList)
for c in wordList:
    wordDict[c]=wordList.count(c)


for i in exculde:
    wordDict.pop(i)

dictList = list(wordDict.items())
dictList.sort(key= lambda x:x[1],reverse=True)


for i in range(10):
    print(dictList[i])