复合数据类型,英文词频统计

Posted 183289879qq

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了复合数据类型,英文词频统计相关的知识,希望对你有一定的参考价值。

 

1.列表,元组,字典,集合分别如何增删改查及遍历。

列表:
list1 = ["a", "b", "c", "d"]; #设置列表1

print(list1); #输出列表1

#增
list1.insert(4,‘e‘); #增添元素
print(list1);

#删
list1.pop(3) #删除指定位置元素
print(list1);

#改
list1[0] = ‘q‘ #直接修改位置元素
print(list1)

#查
x = list1.index(‘c‘); #从列表中找出某个值的索引位置
print(x);

#遍历列表中的每一个元素
for i in list1: print(i)

元组:
num1 = (‘a‘, ‘b‘,‘c‘, ‘d‘); #设置元组
num2 = (‘e‘, 1,‘g‘)
num3=num1+num2 #元组不支持修改,但可以通过连接组合的方式进行增加
print(num3)
#查
print (num1[0] ,num2[0])

字典:
num = {‘a‘: 1, ‘b‘: 2, ‘c‘:3}   #定义字典
#增
num[‘d‘] = 4 # 添加信息
print(num)
#删
del num[‘d‘] # 删除键 d‘
print(num)
#改
num[‘a‘] = ‘0‘; # 更新a
print(num)
#查
print(num[‘a‘])

技术图片
集合:
set={1,2,3} #定义一个集合
#增
set.add(4)
print(set)

#删
set.remove(4)
print(set)

#集合不能进行修改和查找

#遍历
for x in set:
print(x)
 

2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面:

  • 括号
  • 有序无序
  • 可变不可变
  • 重复不可重复
  • 存储与查找方式
  列表 元组 字典 集合
括号 []  ()  {}  set() 
有序无序  有序  有序  无序   无序
 可变不可变  可变  不可变   可变   不可变 
重复不重复   是  是  否

 是

存储方式         
 








3.词频统计

  • 1.下载一长篇小说,存成utf-8编码的文本文件 file

    2.通过文件读取字符串 str

    3.对文本进行预处理

    4.分解提取单词 list

    5.单词计数字典 set , dict

    6.按词频排序 list.sort(key=lambda),turple

    7.排除语法型词汇,代词、冠词、连词等无语义词

    • 自定义停用词表
    • 或用stops.txt

          8.输出TOP(20)

 

exclude={‘is‘,‘the‘,‘and‘,‘i‘,‘you‘,‘in‘,‘but‘,‘not‘,‘with‘,‘by‘,‘its‘,‘for‘,‘of‘,‘an‘,‘to‘,‘a‘,‘he‘,‘him‘,‘was‘,‘it‘,‘that‘,‘her‘}  #定义停用词#
#读取a.txt内容#
def gettxt():
sep=".,:;?!-_‘”"
txt=open(‘a.txt‘,‘r‘).read().lower()
for ch in sep :
txt=txt.replace(ch,‘ ‘)
return txt
#获取单词#
bigList=gettxt().split()
print(bigList);
print(‘big:‘,bigList.count(‘big‘))
bigSet=set(bigList)
#过滤单词,包括一些冠词和连词等#
bigSet=bigSet-exclude
print(bigSet)
#单词计数#
bigDict={}
for word in bigSet:
bigDict[word]=bigList.count(word)
print(bigDict)

print(bigDict.items())
word=list(bigDict.items())
#按词频排序#
word.sort(key=lambda x:x[1],reverse=True)
print(word)
#输出频率较高的词语top20#
for i in range(20):
print(word[i])


结果:

 

 技术图片

 

技术图片

 

以上是关于复合数据类型,英文词频统计的主要内容,如果未能解决你的问题,请参考以下文章

复合数据类型,英文词频统计

复合数据类型,英文词频统计

复合数据类型,英文词频统计

复合数据类型,英文词频统计

复合数据类型,英文词频统计

复合数据类型,英文词频统计