利用Python的 counter内置函数，统计文本中的单词数量

Posted 2020-10-10

counter是 colletions内的一个类

可以理解为一个简单的计数器，可以统计字符出现的个数，例子如下

import collections
str1=[‘a‘,‘a‘,‘b‘,‘d‘]
m=collections.Counter(str1)
print(m)

str2=[‘你‘,‘好‘,‘你‘,‘你‘]
m1=collections.Counter(str2)
print(m1)

输出：

Counter({‘a‘: 2, ‘b‘: 1, ‘d‘: 1})

Counter({‘你‘: 3, ‘好‘: 1})

这样结合文本的读取就可以轻松的统计文本中字符的个数。

接下来详细介绍一下

通过学习博客：pythoner 地址：http://www.pythoner.com/205.html 

collections模块

此模块 包含了 除了dict，set，list，tuple以外的 Python中的一些特殊容器

• OrderedDict类：排序字典，是字典的子类。引入自2.7。
• namedtuple()函数：命名元组，是一个工厂函数。引入自2.6。
• Counter类：为hashable对象计数，是字典的子类。引入自2.7。
• deque：双向队列。引入自2.4。
• defaultdict：使用工厂函数创建字典，使不用考虑缺失的字典键。引入自2.5。

counter类

Counter类的目的是用来跟踪值出现的次数。

它是一个无序的容器类型，以字典的键值对形式存储，其中元素作为key，其计数作为value。计数值可以是任意的Interger（包括0和负数）。

首先是四个创建方法

>>> c = Counter()  # 创建一个空的Counter类
>>> c = Counter(‘adasdasd‘)  # 从一个可iterable对象（list、tuple、dict、字符串等）创建
>>> c = Counter({‘a‘: 4, ‘b‘: 2})  # 从一个字典对象创建
>>> c = Counter(a=4, b=2)  # 从一组键值对创建

 当所访问的键不存在时，返回0，而不是KeyError；否则返回它的计数。

>>> c = Counter("abcdefgab")
>>> c["a"]
2
>>> c["c"]
1
>>> c["h"]
0

2.3 计数器的更新（update和subtract）

可以使用一个iterable对象或者另一个Counter对象来更新键值。

计数器的更新包括增加和减少两种。其中，增加使用update()方法：

 

>>> c = Counter(‘which‘)
>>> c.update(‘witch‘)  # 使用另一个iterable对象更新
>>> c[‘h‘]
3
>>> d = Counter(‘watch‘)
>>> c.update(d)  # 使用另一个Counter对象更新
>>> c[‘h‘]
4

减少则使用subtract()方法：

>>> c = Counter(‘which‘)
>>> c.subtract(‘witch‘)  # 使用另一个iterable对象更新
>>> c[‘h‘]
1
>>> d = Counter(‘watch‘)
>>> c.subtract(d)  # 使用另一个Counter对象更新
>>> c[‘a‘]
-1

2.4 键的删除

当计数值为0时，并不意味着元素被删除，删除元素应当使用del。

>>> c = Counter("abcdcba")
>>> c
Counter({‘a‘: 2, ‘c‘: 2, ‘b‘: 2, ‘d‘: 1})
>>> c["b"] = 0
>>> c
Counter({‘a‘: 2, ‘c‘: 2, ‘d‘: 1, ‘b‘: 0})
>>> del c["a"]
>>> c
Counter({‘c‘: 2, ‘b‘: 2, ‘d‘: 1})

2.5 elements()

返回一个迭代器。元素被重复了多少次，在该迭代器中就包含多少个该元素。元素排列无确定顺序，个数小于1的元素不被包含。

>>> c = Counter(a=4, b=2, c=0, d=-2)
>>> list(c.elements())
[‘a‘, ‘a‘, ‘a‘, ‘a‘, ‘b‘, ‘b‘]

2.6 most_common([n])

返回一个TopN列表。如果n没有被指定，则返回所有元素。当多个元素计数值相同时，排列是无确定顺序的。

>>> c = Counter(‘abracadabra‘)
>>> c.most_common()
[(‘a‘, 5), (‘r‘, 2), (‘b‘, 2), (‘c‘, 1), (‘d‘, 1)]
>>> c.most_common(3)
[(‘a‘, 5), (‘r‘, 2), (‘b‘, 2)]

2.8 浅拷贝copy

 

>>> c = Counter("abcdcba")
>>> c
Counter({‘a‘: 2, ‘c‘: 2, ‘b‘: 2, ‘d‘: 1})
>>> d = c.copy()
>>> d
Counter({‘a‘: 2, ‘c‘: 2, ‘b‘: 2, ‘d‘: 1})

2.9 算术和集合操作

>>> c = Counter(a=3, b=1)
>>> d = Counter(a=1, b=2)
>>> c + d  # c[x] + d[x]
Counter({‘a‘: 4, ‘b‘: 3})
>>> c - d  # subtract（只保留正数计数的元素）
Counter({‘a‘: 2})
>>> c & d  # 交集:  min(c[x], d[x])
Counter({‘a‘: 1, ‘b‘: 1})
>>> c | d  # 并集:  max(c[x], d[x])
Counter({‘a‘: 3, ‘b‘: 2})