python生成器之yield

Posted 2020-07-13 镜花水月

参考：【Python yield 使用浅析】、【Python xrange与range的区别】等

 

一个带有 yield 的函数就是一个 generator，它和普通函数不同，生成一个 generator 看起来像函数调用，但不会执行任何函数代码，直到对其调用 next()（在 for 循环中会自动调用 next()）才开始执行。虽然执行流程仍按函数的流程执行，但每执行到一个 yield 语句就会中断，并返回一个迭代值，下次执行时从 yield 的下一个语句继续执行。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次，每次中断都会通过 yield 返回当前的迭代值。

yield 的好处是显而易见的，把一个函数改写为一个 generator 就获得了迭代能力，比起用类的实例保存状态来计算下一个 next() 的值，不仅代码简洁，而且执行流程异常清晰。

 

首先看range和xrange：

for i in range(1000): pass

上面代码会生成一个 含有1000 个元素的 List，而代码：

for i in xrange(1000): pass

则是在每次迭代中返回下一个数值，内存空间占用很小。因为 xrange 不返回 List，而是返回一个生成器，（List是一种迭代对象）。

一个迭代对象可以通过调用iter方法返回一个iterator对象，然后进行for loop访问：

class Iterable_:  
   def __iter__(self):  
       return iter([1, 2, 3])   
it = iter((Iterable_()))  
for i in it:   
    print "iterable:" + str(i)  
  
#输出  
iterable:1  
iterable:2  
iterable:3

View Code

 

range：

a = range(0,5) 
print type(a)    #输出 <type ‘list‘>
print a          #输出 [0,1,2,3,4]
print a[0], a[1] #输出 0, 1

xrange:

a = xrange(0,5) 
print type(a)    #输出 <type ‘xrange‘>
print a          #输出 xrange(5)
print a[0], a[1] #输出 0, 1

迭代器肯定是iterable类型的对象，它是包含有next(Python 2) 方法或者__next__(Python 3) 方法和__iter__（返回self）方法的一个特殊对象。对于一个生成器它一定是一个迭代器可以通过for loop进行访问其中的元素，但是一个迭代器却不一定是生成器。

定义迭代器有两种方式，第一个是使用yield关键词，另外一个是生成器表达式"()"。对于一个方法在方法体里加上yield关键词就变成了生成器。yield作用就是返回一个生成器，它会保存当前函数状态，记录下一次函数被调用next的时候运行状态。当函数没有下一次运行状态的时候，再继续调用next方法，这个时候StopIteration异常就被抛出。

生成器具有迭代器的特性，比如只能向前遍历等。当然生成器还有自己的方法，比如send方法等。通过send可以定义当前生成器中的值。

 

斐波那契數列（Fibonacci）

1. 最普通的：

def fab(max): 
   n, a, b = 0, 0, 1 
   while n < max: 
       print b 
       a, b = b, a + b 
       n = n + 1

 

2. 为了提高 fab 函数的可重用性，最好返回一个 List如下：

def fab(max): 
   n, a, b = 0, 0, 1 
   L = [] 
   while n < max: 
       L.append(b) 
       a, b = b, a + b 
       n = n + 1 
   return L

for n in fab(5): 
       print n 

 

3. 该函数在运行中占用的内存会随着参数 max 的增大而增大，所以最好不要用 List来保存中间结果，而是通过 iterable 对象来迭代，利用 iterable 我们可以把 fab 函数改写为一个支持 iterable 的 class：

class Fab(object): 
 
   def __init__(self, max): 
       self.max = max 
       self.n, self.a, self.b = 0, 0, 1 
 
   def __iter__(self): 
       return self 
 
   def next(self): 
       if self.n < self.max: 
           r = self.b 
           self.a, self.b = self.b, self.a + self.b 
           self.n = self.n + 1 
           return r 
       raise StopIteration()

View Code

Fab 类通过 next() 不断返回数列的下一个数，内存占用始终为常数：

>>> for n in Fab(5): 
...     print n 
...

View Code

 

4. 但是使用 class 改写的这个版本，代码远远没有第一版的 fab 函数来得简洁。使用yield：

def fab(max): 
    n, a, b = 0, 0, 1 
    while n < max: 
        yield b 
        # print b 
        a, b = b, a + b 
        n = n + 1

和第一版相比，仅仅把 print b 改为了 yield b，调用也没什么变化：

>>> for n in fab(5): 
...     print n 
... 
1 
1 
2 
3 
5

yield 的作用就是把一个函数变成一个 generator，Python 解释器会将其视为一个 generator，调用 fab(5) 不会执行 fab 函数，而是返回一个 iterable 对象！在 for 循环执行时，每次循环都会执行 fab 函数内部的代码，执行到 yield b 时，fab 函数就返回一个迭代值，下次迭代时，代码从 yield b 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行，直到再次遇到 yield。

也可以手动调用 fab(5) 的 next() 方法（因为 fab(5) 是一个 generator 对象，该对象具有 next() 方法），这样我们就可以更清楚地看到 fab 的执行流程：

>>> f = fab(5) 
>>> f.next() 

>>> f.next() 

>>> f.next() 

>>> f.next() 

>>> f.next() 

>>> f.next() 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration

View Code

 

当函数执行结束时，generator 自动抛出 StopIteration 异常，表示迭代完成。在 for 循环里，无需处理 StopIteration 异常，循环会正常结束。

 

6. 何判断一个函数是否是一个特殊的 generator 函数？可以利用 isgeneratorfunction 判断：

>>> from inspect import isgeneratorfunction 
>>> isgeneratorfunction(fab) 
True

 

7. 要注意区分 fab 和 fab(5)，fab 是一个 generator function，而 fab(5) 是调用 fab 返回的一个 generator，好比类的定义和类的实例的区别：

>>> import types 
>>> isinstance(fab, types.GeneratorType) 
False 
>>> isinstance(fab(5), types.GeneratorType) 
True

fab 是无法迭代的，而 fab(5) 是可迭代的：

>>> from collections import Iterable 
>>> isinstance(fab, Iterable) 
False 
>>> isinstance(fab(5), Iterable) 
True

每次调用 fab 函数都会生成一个新的 generator 实例，各实例互不影响：

>>> f1 = fab(3) 
>>> f2 = fab(5) 
>>> print ‘f1:‘, f1.next() 
f1: 1 
>>> print ‘f2:‘, f2.next() 
f2: 1 
>>> print ‘f1:‘, f1.next() 
f1: 1 
>>> print ‘f2:‘, f2.next() 
f2: 1 
>>> print ‘f1:‘, f1.next() 
f1: 2 
>>> print ‘f2:‘, f2.next() 
f2: 2 
>>> print ‘f2:‘, f2.next() 
f2: 3 
>>> print ‘f2:‘, f2.next() 
f2: 5

View Code

 

return 的作用

在一个 generator function 中，如果没有 return，则默认执行至函数完毕，如果在执行过程中 return，则直接抛出 StopIteration 终止迭代。

另一个例子

另一个 yield 的例子来源于文件读取。如果直接对文件对象调用 read() 方法，会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断读取文件内容。通过 yield，我们不再需要编写读文件的迭代类，就可以轻松实现文件读取：

def read_file(fpath): 
   BLOCK_SIZE = 1024 
   with open(fpath, ‘rb‘) as f: 
       while True: 
           block = f.read(BLOCK_SIZE) 
           if block: 
               yield block 
           else: 
               return

以上仅仅简单介绍了 yield 的基本概念和用法，yield 在 Python 3 中还有更强大的用法