Python迭代器和生成器

Posted 2021-03-21 小杨同学

Python的迭代器集成在语言之中，迭代器和生成器是Python中很重要的用法，本文将深入了解迭代器和生成器。

首先，我们都知道for循环是一个基础迭代操作，大多数的容器对象都可以使用for循环，那么，我们从for循环开始：

你有没有想过，for循环的内部实现原理呢？

其实，在Python中，for循环是对迭代器进行迭代的语法糖，内部运行机理就是：首先底层对循环对象实现迭代器包装（调用容器对象的__iter__方法）返回一个迭代器对象，每循环一步，就调用一次迭代器对象的__next__方法，直到循环结束时，自动处理StopIteration这个异常。

对于像list，dict等容器对象而言，都可以使用for循环，但是它们并不是迭代器，它们属于可迭代对象。

什么是可迭代对象呢？

最简单的解释：实现了迭代方法可以被迭代的对象，可以使用isinstance()方法进行判断。

举个例子：

In [1]: from collections import Iterable, Iterator
In [2]: a = [1, 2, 3]
In [3]: isinstance(a, Iterable)
Out[3]: True
In [4]: b = a.__iter__()
In [5]: isinstance(b, Iterator)
Out[5]: True

可迭代对象实现了__iter__方法，该方法返回一个迭代器对象。

以上，可以看到，在迭代过程中，实际调用了迭代器的__next__方法进行迭代。

那么，什么是迭代器？

实现了迭代器协议的对象就是迭代器，所谓的迭代器协议可以简单归纳为：

1. 实现__iter__()方法，返回一个迭代器
2. 实现next方法，返回当前元素并指向下一个元素，如果当前位置已无元素，则抛出StopIteration异常 。

迭代器和可迭代对象的区别是：迭代器可以使用next()方法不断调用并返回下一个值，除了调用可迭代对象的__iter__方法来将可迭代对象转换为迭代器以外，还可以使用iter()方法。

举个例子来验证以上说法：

In [1]: iter_data = iter([1, 2, 3])
In [2]: print(next(iter_data))
1
In [3]: print(next(iter_data))
2
In [4]: print(next(iter_data))
3
In [5]: print(next(iter_data))
---------------------------------------------------------------------------
StopIteration                             Traceback (most recent call last)
<ipython-input-16-425d66e859b8> in <module>
----> 1 print(next(iter_data))

为什么要用迭代器？

很重要的一点是，Python把迭代器内建在语言之中的，我们在遍历一个容器对象时并不需要去实现具体的遍历操作。

迭代器时一个惰性序列，仅仅在迭代至当前元素时才计算该元素的值，在此之前可以不存在，在此之后可以随时销毁，也就是说，在迭代过程中不是将所有元素一次性加载，这样便不需要考虑内存的问题。通过定义迭代器协议，我们可以随时实现一个迭代器。

什么时候用迭代器？
具体在什么场景下可以使用迭代器：

• 数列的数据规模巨大
• 数列有规律，但是不能使用列表推导式描述。

举个最简单的例子：

class Fib(object):
    def __init__(self):
        self._a = 0
        self._b = 1

    def __iter__(self):
        return self

    def __next__(self):
        self._a, self._b = self._b, self._a + self._b
        return self._a


if __name__ == '__main__':
    for index, item in enumerate(Fib()):
        print(item)
        if index >= 9:
            break

什么是生成器？

生成器，顾名思义，就是按照一定的模式生成一个序列，是一种高级的迭代器，Python中有一个专门的关键字（yield）来实现生成器。

如果一个函数，使用了yield语句，那么它就是一个生成器函数，当调用生成器函数函数时，它返回一个迭代器，不过这个迭代器时一个生成器对象。

举个例子：

from itertools import islice

def fib():
    a, b = 1, 1
    while True:
        yield a
        a, b = b, a + b

if __name__ == '__main__':
    fib_data = fib()
    print(list(islice(fib_data, 0, 10)))

可以看到，使用生成器后，代码简洁了很多！在上述代码中添加：

print(type(fib_data))
print(dir(fib_data))

可以看到函数返回的是一个generator对象，且对象实现了迭代器协议。

但是，使用生成器必须要注意的一点是：生成器只能遍历一次。

什么时候用生成器呢？

生成器可以使用更少的中间变量来写流式代码， 相比于其它容器对象占用的内存和CPU资源更少一些。当需要一个将返回一个序列或在循环中执行的函数时，就可以使用生成器，因为当这些元素被传递到另一个函数中进行后续处理时，一次返回一个元素可以有效的提升整体性能，最重要的是，比迭代器简洁！

除此以外，生成器还有两个很棒的用处：

1. 实现with语句的上下文管理器协议
2. 实现协程

什么是生成器表达式？

列表推导式，大家应该都用到，但是由于内存的限制，列表的容量是有限的，如果要创建一个有几百万个元素的列表，会占用很多的储存空间，当我们只需要访问几个元素时，其它元素占用的空间就白白浪费了。

这种时候你可以用生成器表达式啊，生成式表达式是一种实现生成器的便捷方式，将列表推导式的中括号替换为圆括号，生成器表达式是一种边循环边计算，使得列表的元素可以在循环过程中一个个的推算出来，不需要创建完整的列表，从而节省了大量的空间。

In [1]: a = (item for item in range(10))

In [2]: type(a)
Out[2]: generator

In [3]: next(a)
Out[3]: 0

In [4]: next(a)
Out[4]: 1

以上。

代码可参考：my github