python模块之collections

Posted 2020-08-14

我们都知道，Python拥有一些内置的数据类型，比如str, int, list, tuple, dict等， collections模块在这些内置数据类型的基础上，提供了几个额外的数据类型：

 
（1）namedtuple(): 生成可以使用名字来访问元素内容的tuple子类 
（2）deque: 双端队列，可以快速的从另外一侧追加和推出对象 
（3）Counter: 计数器，主要用来计数 
（4）OrderedDict: 有序字典 
（5）defaultdict: 带有默认值的字典 

 

=>namedtuple(typename, field_names, verbose=False, rename=False)

比如我们用户拥有一个这样的数据结构，每一个对象是拥有三个元素的tuple。
使用namedtuple方法就可以方便的通过tuple来生成可读性更高也更好用的数据结构

wdebsites = [

    (‘Sohu‘, ‘http://www.google.com/‘, ‘张朝阳‘),

    (‘Sina‘, ‘http://www.sina.com.cn/‘, ‘王志东‘),

    (‘163‘, ‘http://www.163.com/‘, ‘丁磊‘)

]

Website = namedtuple(‘Website‘, [‘name‘, ‘url‘, ‘founder‘])

for website in websites:

    website = Website._make(website)

    print (website)

Result:

Website(name=‘Sohu‘, url=‘http://www.google.com/‘, founder=‘张朝阳‘)

Website(name=‘Sina‘, url=‘http://www.sina.com.cn/‘, founder=‘王志东‘)

Website(name=‘163‘, url=‘http://www.163.com/‘, founder=‘丁磊‘)

 

=>deque(iterable,maxlen)

deque其实是double-ended queue的缩写，翻译过来就是双端队列，它最大的好处就是实现了从队列头部快速增加和取出对象: .popleft(), .appendleft()。原生的List也能从头部添加和去除对象，l.insert(0, v)、l.pop(0)。但是值得注意的是，list对象的这两种用法的时间复杂度是O(n)，也就是说随着元素数量的增加耗时呈线性上升。而使用deque对象则是O(1) 的复杂度，所以当你的代码有这样的需求的时候，一定要记得使用deque。

 

作为一个双端队列，deque还提供了一些其他的好用方法，比如 rotate等。

append(x):从队列末尾添加x

appendleft(x):从队列头部添加x

clear():清空队列

count(x):返回队列中x的数量

extend(iterable):在队列的尾部添加多个元素

extendleft(iterable):在队列的头部添加多个元素，反序插入（字母表相反顺序）

pop():将尾部一个元素移除

popleft():将头部一个元素移除

remove(x):将队列中第一次出现的x元素移除

reverse():将队列元素逆置

rotate(n):将队列尾部的n个元素添加到头部 rotate(1)等价于:d.appendleft(d.pop())

D.maxlen:返回队列的长度，如果是无界则返回None（定义的时候可以指定maxlen，否则默认是无界队列）

 

Example:

>>>d=collections.deque("gsgwqeasas")

>>> d

deque([‘g‘, ‘s‘, ‘g‘, ‘w‘, ‘q‘, ‘e‘, ‘a‘, ‘s‘, ‘a‘, ‘s‘])

>>> s=list(d)

>>> s

[‘w‘, ‘g‘, ‘g‘, ‘s‘, ‘a‘, ‘s‘, ‘a‘, ‘e‘, ‘q‘]

 

=>Counter(iterable or mapping)  #可迭代或者映射的对象

计数器是一个非常常用的功能需求。

 

elements():返回一个重复元素的迭代器，重复次数和计数的次数一样多。元素以任意顺序返回。如果一个元素的计数小于1，elements()会忽略它。

most_common([n]):返回n个计数器元素，若未指定n，则返回计数器的所有元素

update(iterable or mapping):增加计数器元素，元素可以来源于迭代对象或者一个Counter对象

 

Example:

>>> s

[‘w‘, ‘g‘, ‘g‘, ‘s‘, ‘a‘, ‘s‘, ‘a‘, ‘e‘, ‘q‘]

>>> c=collections.Counter(s)

>>> c

Counter({‘g‘: 2, ‘a‘: 2, ‘s‘: 2, ‘e‘: 1, ‘q‘: 1, ‘w‘: 1})

>>> list(c)

[‘e‘, ‘q‘, ‘g‘, ‘w‘, ‘a‘, ‘s‘]

>>> dict(c)

{‘a‘: 2, ‘q‘: 1, ‘g‘: 2, ‘w‘: 1, ‘e‘: 1, ‘s‘: 2}

>>> list(c.elements())

[‘e‘, ‘q‘, ‘g‘, ‘g‘, ‘w‘, ‘a‘, ‘a‘, ‘s‘, ‘s‘]

>>> c.most_common(4)

[(‘g‘, 2), (‘a‘, 2), (‘s‘, 2), (‘e‘, 1)]

>>> c.update(‘fds‘)

>>> c

Counter({‘s‘: 3, ‘g‘: 2, ‘a‘: 2, ‘e‘: 1, ‘q‘: 1, ‘w‘: 1, ‘f‘: 1, ‘d‘: 1})

>>> c.update(c)

>>> c

Counter({‘s‘: 6, ‘g‘: 4, ‘a‘: 4, ‘e‘: 2, ‘q‘: 2, ‘w‘: 2, ‘f‘: 2, ‘d‘: 2})

>>>

 

=>OrderedDict(items)

在Python中，dict这个数据结构由于hash的特性，是无序的，这在有的时候会给我们带来一些麻烦， 幸运的是，collections模块为我们提供了OrderedDict，当你要获得一个有序的字典对象时，用它就对了。

 

popitem(last=True):移除字典对象元素，last=True时“后进先出”，last=False时“先进先出”

move_to_end(key,last=True):将字典中一个已经存在的键移动到头部或者尾部。last=True时，移动到尾部，last=False时，移动到头部。

 

Example:

>>> d

{‘w‘: 2, ‘a‘: 4, ‘f‘: 2, ‘q‘: 2, ‘g‘: 4, ‘d‘: 2, ‘e‘: 2, ‘s‘: 6}

>>> n=collections.OrderedDict(d)

>>> n

OrderedDict([(‘w‘, 2), (‘a‘, 4), (‘f‘, 2), (‘q‘, 2), (‘g‘, 4), (‘d‘, 2), (‘e‘, 2), (‘s‘, 6)])

>>> n.popitem()

(‘s‘, 6)

>>> n

OrderedDict([(‘a‘, 4), (‘f‘, 2), (‘q‘, 2), (‘g‘, 4), (‘d‘, 2), (‘e‘, 2)])

>>> n.move_to_end(‘f‘)

>>> n

OrderedDict([(‘a‘, 4), (‘q‘, 2), (‘g‘, 4), (‘d‘, 2), (‘e‘, 2), (‘f‘, 2)])

 

=>defaultdict

我们都知道，在使用Python原生的数据结构dict的时候，如果用 d[key] 这样的方式访问， 当指定的key不存在时，是会抛出KeyError异常的。

但是，如果使用defaultdict，只要你传入一个默认的工厂方法，那么请求一个不存在的key时， 便会调用这个工厂方法使用其结果来作为这个key的默认值。

 

Example:

>>> s = [(‘yellow‘, 1), (‘blue‘, 2), (‘yellow‘, 3), (‘blue‘, 4), (‘red‘, 1)]

>>> d = defaultdict(list)

>>> for k, v in s:     

d[k].append(v)

>>> list(d.items())

[(‘blue‘, [2, 4]), (‘red‘, [1]), (‘yellow‘, [1, 3])]

 

>>> m =dict()

>>> m["a"]

Traceback (most recent call last):

File"<stdin>", line1,in<module>

KeyError: "a"

>>>

>>> m =collections.defaultdict(int)

>>> m["a"]

0

>>> m["b"]

0

>>> m =collections.defaultdict(str)

>>> m["a"]

""

>>> m["b"]+="a"

>>> m["b"]

"a"

>>> m =collections.defaultdict(lambda:"[default value]")

>>> m["a"]

"[default value]"

>>> m["b"]

"[default value]"