流畅的python第十四章可迭代的对象,迭代器和生成器学习记录

Posted 菲菲菲菲菲常新的新手

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了流畅的python第十四章可迭代的对象,迭代器和生成器学习记录相关的知识,希望对你有一定的参考价值。

在python中,所有集合都可以迭代,在python语言内部,迭代器用于支持

for循环

构建和扩展集合类型

逐行遍历文本文件

列表推导,字典推导和集合推导

元组拆包

调用函数时,使用*拆包实参

本章涵盖的话题

语言内部使用 iter(...) 内置函数处理可迭代对象的方式
如何使用 Python 实现经典的迭代器模式
详细说明生成器函数的工作原理
如何使用生成器函数或生成器表达式代替经典的迭代器
如何使用标准库中通用的生成器函数
如何使用 yield from 语句合并生成器
案例分析:在一个数据库转换工具中使用生成器函数处理大型数据集
为什么生成器和协程看似相同,实则差别很大,不能混淆

 

序列可以迭代的原因:iter函数

解释器需要迭代对象 x 时,会自动调用 iter(x)。
内置的 iter 函数有以下作用。
(1) 检查对象是否实现了 __iter__ 方法,如果实现了就调用它,获取一个迭代器。
(2) 如果没有实现 __iter__ 方法,但是实现了 __getitem__ 方法,Python 会创建一个迭
代器,尝试按顺序(从索引 0 开始)获取元素。
(3) 如果尝试失败,Python 抛出 TypeError 异常,通常会提示“C object is not iterable”(C
对象不可迭代),其中 C 是目标对象所属的类。

从 Python 3.4 开始,检查对象 x 能否迭代,最准确的方法是:调用 iter(x) 函
数,如果不可迭代,再处理 TypeError 异常。这比使用 isinstance(x,
abc.Iterable) 更准确,因为 iter(x) 函数会考虑到遗留的 __getitem__ 方法,
而 abc.Iterable 类则不考虑。

 

可迭代的对象与迭代器的对比

可迭代的对象
  使用 iter 内置函数可以获取迭代器的对象。如果对象实现了能返回迭代器的
__iter__ 方法,那么对象就是可迭代的。序列都可以迭代;实现了 __getitem__ 方
法,而且其参数是从零开始的索引,这种对象也可以迭代

>>> s = \'ABC\'
>>> it = iter(s) # ➊
>>> while True:
...     try:
...         print(next(it)) # ➋
...     except StopIteration: # ➌
...         del it # ➍
...         break # ➎
...
A
B
C

❶ 使用可迭代的对象构建迭代器 it。
❷ 不断在迭代器上调用 next 函数,获取下一个字符。
❸ 如果没有字符了,迭代器会抛出 StopIteration 异常。
❹ 释放对 it 的引用,即废弃迭代器对象。
❺ 退出循环。

StopIteration 异常表明迭代器到头了。Python 语言内部会处理 for 循环和其他迭代上
下文(如列表推导、元组拆包,等等)中的 StopIteration 异常。

标准的迭代器接口有两个方法。
__next__
  返回下一个可用的元素,如果没有元素了,抛出 StopIteration 异常。
__iter__
  返回 self,以便在应该使用可迭代对象的地方使用迭代器,例如在 for 循环中。

在 Python 3 中,Iterator 抽象基类定义的抽象方法是 it.__next__(),而
在 Python 2 中是 it.next()。一如既往,我们应该避免直接调用特殊方法,使用
next(it) 即可,这个内置的函数在 Python 2 和 Python 3 中都能使用。

查对象 x 是否为迭代器最好的方式是调用 isinstance(x, abc.Iterator)。得益

于 Iterator.__subclasshook__ 方法,即使对象 x 所属的类不是 Iterator 类的
真实子类或虚拟子类,也能这样检查

因为迭代器只需 __next__ 和 __iter__ 两个方法,所以除了调用 next() 方法,以及捕
获 StopIteration 异常之外,没有办法检查是否还有遗留的元素。此外,也没有办
法“还原”迭代器。如果想再次迭代,那就要调用 iter(...),传入之前构建迭代器的可
迭代对象。传入迭代器本身没用,因为前面说过 Iterator.__iter__ 方法的实现方式是
返回实例本身,所以传入迭代器无法还原已经耗尽的迭代器。

迭代器
  迭代器是这样的对象:实现了无参数的 __next__ 方法,返回序列中的下一个元素;
如果没有元素了,那么抛出 StopIteration 异常。Python 中的迭代器还实现了
__iter__ 方法,因此迭代器也可以迭代。

 

构建可迭代的对象和迭代器时经常会出现错误,原因是混淆了二者。要知道,可迭代的对
象有个 __iter__ 方法,每次都实例化一个新的迭代器;而迭代器要实现 __next__ 方
法,返回单个元素,此外还要实现 __iter__ 方法,返回迭代器本身。

因此,迭代器可以迭代,但是可迭代的对象不是迭代器。

可迭代的对象一定不能是自身的迭代器。也就是说,可迭代的对象必须实现
__iter__ 方法,但不能实现 __next__ 方法。

另一方面,迭代器应该一直可以迭代。迭代器的 __iter__ 方法应该返回自身。

生成器函数的工作原理
只要 Python 函数的定义体中有 yield 关键字,该函数就是生成器函数。调用生成器函数
时,会返回一个生成器对象。也就是说,生成器函数是生成器工厂。

生成器函数会创建一个生成器对象,包装生成器函数的定义体。把生成器传给
next(...) 函数时,生成器函数会向前,执行函数定义体中的下一个 yield 语句,返回
产出的值,并在函数定义体的当前位置暂停。最终,函数的定义体返回时,外层的生成器
对象会抛出 StopIteration 异常——这一点与迭代器协议一致。

何时使用生成器表达式

生成器表达式是创建生成器的简洁句法,这样无需先定义函数再调
用。不过,生成器函数灵活得多,可以使用多个语句实现复杂的逻辑,也可以作为协程
使用

选择使用哪种句法很容易判断:如果生成器表达式要分成多行写,我倾向
于定义生成器函数,以便提高可读性。此外,生成器函数有名称,因此可以重用。

使用itertools模块生成等差数列
Python 3.4 中的 itertools 模块提供了 19 个生成器函数,结合起来使用能实现很多有趣
的用法。

itertools.count 函数返回的生成器能生成多个数。如果不传入参
数,itertools.count 函数会生成从零开始的整数数列。不过,我们可以提供可选的
start 和 step 值

不过,itertools.takewhile 函数则不同,它会生成一个使用另一个生成器的生成器,
在指定的条件计算结果为 False 时停止。因此,可以把这两个函数结合在一起使用

标准库中的生成器函数

把生成器当成协程

与 .__next__() 方法一样,.send() 方法致使生成器前进到下一个 yield 语句。不
过,.send() 方法还允许使用生成器的客户把数据发给自己,即不管传给 .send() 方法
什么参数,那个参数都会成为生成器函数定义体中对应的 yield 表达式的值。也就是
说,.send() 方法允许在客户代码和生成器之间双向交换数据。而 .__next__() 方法只
允许客户从生成器中获取数据。

 

以上是关于流畅的python第十四章可迭代的对象,迭代器和生成器学习记录的主要内容,如果未能解决你的问题,请参考以下文章

流畅的python14 章可迭代的对象迭代器 和生成器

Python笔记·第十二章—— 函数 迭代器和生成器

Python核心技术与实战——十四|深入了解迭代器和生成器

第14章 可迭代的对象迭代器和生成器

流畅python学习笔记:第十一章:抽象基类

python学习第十三天:带参数装饰器和迭代器