复合数据类型，英文词频统计

Posted 2021-02-14 mgf69

1.列表，元组，字典，集合分别如何增删改查及遍历。

列表：

对列表的数据项进行修改或更新，你也可以使用append()方法来添加列表项；可以使用 del 语句来删除列表的的元素；

元组：

元组可以使用下标索引来访问元组中的值；元组中的元素值是不允许修改的，但我们可以对元组进行连接组合；元组中的元素值是不允许删除的，但我们可以使用del语句来删除整个元组；

字典：

把相应的键放入到方括号中；向字典添加新内容的方法是增加新的键/值对，修改或删除已有键/值对；能删单一的元素也能清空字典，清空只需一项操作，显示删除一个字典用del命令；

集合：

将元素 x 添加到集合 s 中，如果元素已存在，则不进行任何操作；clear()清空集合 s;remove()移除元素；

2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面：

• 括号
• 有序无序
• 可变不可变
• 重复不可重复
• 存储与查找方式

3.词频统计

• 1.下载一长篇小说，存成utf-8编码的文本文件 file

  2.通过文件读取字符串 str

  3.对文本进行预处理

  4.分解提取单词 list

  5.单词计数字典 set , dict

  6.按词频排序 list.sort(key=lambda),turple

  7.排除语法型词汇，代词、冠词、连词等无语义词

  • 自定义停用词表
  • 或用stops.txt

f = open(‘text1.txt‘,‘r‘, encoding=‘UTF-8‘)
str = f.read()
f.close()
text=str.lower()#转换字符串中所有大写字符为小写
sep = ‘‘‘
,.!?-"
‘‘‘
for s in sep:
    text = text.replace(s,‘ ‘)#符号转换空格
text = text.split();#空格分割单词单词

dict={}
for word in text:
    dict[word] = text.count(word)#获取单词数目

exclude={‘the‘,‘and‘,‘of‘,‘to‘,‘a‘,‘in‘,‘was‘,‘she‘,‘her‘,‘had‘,‘that‘,‘it‘,‘with‘,‘i‘,‘mr‘,‘but‘,‘by‘,‘said‘,‘be‘,‘were‘,‘which‘,‘from‘,‘which‘,‘this‘,‘an‘,‘on‘,‘he‘,‘for‘,‘you‘,‘as‘,‘his‘,‘not‘,‘at‘,‘mrs‘}#定义数组
for a in exclude:
    if a in dict.keys():
        dict.pop(a)#排除语法型词汇

word=list(dict.items())
word.sort(key=lambda x:x[1],reverse=True)#降序排序

print(word)#显示结果

import pandas as pd
pd.DataFrame(data=word).to_csv(‘text1.csv‘,encoding=‘utf-8‘)#生成csv文件

 

 

 

8.输出TOP(20)

• 9.可视化：词云

 

 

 排序好的单词列表word保存成csv文件

import pandas as pd
pd.DataFrame(data=word).to_csv(‘big.csv‘,encoding=‘utf-8‘)

线上工具生成词云：
https://wordart.com/create