python yield用法总结

Posted 2020-09-11

从最常见的裴波那切数列说起

斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个和第二个数外，任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一个非常简单的问题，许多初学者都可以轻易写出如下函数：

 

清单 1. 简单输出斐波那契數列前 N 个数

 def fab(max): 
    n, a, b = 0, 0, 1 
    while n < max: 
        print b 
        a, b = b, a + b 
        n = n + 1

 

执行 fab(5)，我们可以得到如下输出：

 

>>> fab(5) 
 1 
 1 
 2 
 3 
 5

 

 

结果没有问题，但有经验的开发者会指出，直接在 fab 函数中用 print 打印数字会导致该函数可复用性较差，因为 fab 函数返回 None，其他函数无法获得该函数生成的数列。

 

要提高 fab 函数的可复用性，最好不要直接打印出数列，而是返回一个 List。以下是 fab 函数改写后的第二个版本：

 

清单 2. 输出斐波那契數列前 N 个数第二版

 

 def fab(max): 
    n, a, b = 0, 0, 1 
    L = [] 
    while n < max: 
        L.append(b) 
        a, b = b, a + b 
        n = n + 1 
    return L

 

可以使用如下方式打印出 fab 函数返回的 List：

 

>>> for n in fab(5): 
 ...     print n 
 ... 
 1 
 1 
 2 
 3 
 5

 

改写后的 fab 函数通过返回 List 能满足复用性的要求，但是更有经验的开发者会指出，该函数在运行中占用的内存会随着参数 max 的增大而增大，如果要控制内存占用，最好不要用 List

 

清单 3. 通过 iterable 对象来迭代

 

会导致生成一个 1000 个元素的 List，而代码：

 

则不会生成一个 1000 个元素的 List，而是在每次迭代中返回下一个数值，内存空间占用很小。因为 xrange 不返回 List，而是返回一个 iterable 对象。

 

利用 iterable 我们可以把 fab 函数改写为一个支持 iterable 的 class，以下是第三个版本的 Fab：

清单 4. 第三个版本

class Fab(object): 

    def __init__(self, max): 
        self.max = max 
        self.n, self.a, self.b = 0, 0, 1 

    def __iter__(self): 
        return self 

    def next(self): 
        if self.n < self.max: 
            r = self.b 
            self.a, self.b = self.b, self.a + self.b 
            self.n = self.n + 1 
            return r 
        raise StopIteration()

 

Fab 类通过 next() 不断返回数列的下一个数，内存占用始终为常数：

 >>> for n in Fab(5): 
 ...     print n 
 ... 
 1 
 1 
 2 
 3 
 5

 

然而，使用 class 改写的这个版本，代码远远没有第一版的 fab 函数来得简洁。如果我们想要保持第一版 fab 函数的简洁性，同时又要获得 iterable 的效果，yield 就派上用场了：

清单 5. 使用 yield 的第四版

 def fab(max): 
    n, a, b = 0, 0, 1 
    while n < max: 
        yield b 
        # print b 
        a, b = b, a + b 
        n = n + 1 

 

‘‘‘

第四个版本的 fab 和第一版相比，仅仅把 print b 改为了 yield b，就在保持简洁性的同时获得了 iterable 的效果。

调用第四版的 fab 和第二版的 fab 完全一致：

 >>> for n in fab(5): 
 ...     print n 
 ... 
 1 
 1 
 2 
 3 
 5

 

简单地讲，yield 的作用就是把一个函数变成一个 generator，带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator，调用 fab(5) 不会执行 fab 函数，而是返回一个 iterable 对象！在 for 循环执行时，每次循环都会执行 fab 函数内部的代码，执行到 yield b 时，fab 函数就返回一个迭代值，下次迭代时，代码从 yield b 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行，直到再次遇到 yield。

也可以手动调用 fab(5) 的 next() 方法（因为 fab(5) 是一个 generator 对象，该对象具有 next() 方法），这样我们就可以更清楚地看到 fab 的执行流程：

清单 6. 执行流程

 >>> f = fab(5) 
 >>> f.next() 
 1 
 >>> f.next() 
 1 
 >>> f.next() 
 2 
 >>> f.next() 
 3 
 >>> f.next() 
 5 
 >>> f.next() 
 Traceback (most recent call last): 
  File "<stdin>", line 1, in <module> 
 StopIteration

 

当函数执行结束时，generator 自动抛出 StopIteration 异常，表示迭代完成。在 for 循环里，无需处理 StopIteration 异常，循环会正常结束。

我们可以得出以下结论：

一个带有 yield 的函数就是一个 generator，它和普通函数不同，生成一个 generator 看起来像函数调用，但不会执行任何函数代码，直到对其调用 next()（在 for 循环中会自动调用 next()）才开始执行。虽然执行流程仍按函数的流程执行，但每执行到一个 yield 语句就会中断，并返回一个迭代值，下次执行时从 yield 的下一个语句继续执行。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次，每次中断都会通过 yield 返回当前的迭代值。

yield 的好处是显而易见的，把一个函数改写为一个 generator 就获得了迭代能力，比起用类的实例保存状态来计算下一个 next() 的值，不仅代码简洁，而且执行流程异常清晰。

如何判断一个函数是否是一个特殊的 generator 函数？可以利用 isgeneratorfunction 判断：

清单 7. 使用 isgeneratorfunction 判断

>>> from inspect import isgeneratorfunction 
>>> isgeneratorfunction(fab) 
True

 

要注意区分 fab 和 fab(5)，fab 是一个 generator function，而 fab(5) 是调用 fab 返回的一个 generator，好比类的定义和类的实例的区别：

清单 8. 类的定义和类的实例

 >>> import types 
 >>> isinstance(fab, types.GeneratorType) 
 False 
 >>> isinstance(fab(5), types.GeneratorType) 
 True

 

fab 是无法迭代的，而 fab(5) 是可迭代的：

 >>> from collections import Iterable 
 >>> isinstance(fab, Iterable) 
 False 
 >>> isinstance(fab(5), Iterable) 
 True

 

每次调用 fab 函数都会生成一个新的 generator 实例，各实例互不影响：

>>> f1 = fab(3) 
 >>> f2 = fab(5) 
 >>> print ‘f1:‘, f1.next() 
 f1: 1 
 >>> print ‘f2:‘, f2.next() 
 f2: 1 
 >>> print ‘f1:‘, f1.next() 
 f1: 1 
 >>> print ‘f2:‘, f2.next() 
 f2: 1 
 >>> print ‘f1:‘, f1.next() 
 f1: 2 
 >>> print ‘f2:‘, f2.next() 
 f2: 2 
 >>> print ‘f2:‘, f2.next() 
 f2: 3 
 >>> print ‘f2:‘, f2.next() 
 f2: 5

 

return 的作用

在一个 generator function 中，如果没有 return，则默认执行至函数完毕，如果在执行过程中 return，则直接抛出 StopIteration 终止迭代。

 

另一个例子

另一个 yield 的例子来源于文件读取。如果直接对文件对象调用 read() 方法，会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断读取文件内容。通过 yield，我们不再需要编写读文件的迭代类，就可以轻松实现文件读取：

清单 9. 另一个 yield 的例子

 def read_file(fpath): 
    BLOCK_SIZE = 1024 
    with open(fpath, ‘rb‘) as f: 
        while True: 
            block = f.read(BLOCK_SIZE) 
            if block: 
                yield block 
            else: 
                return

 

 

还有一个更直观的更容易理解的例子：

 

yield是生成的意思，但是在python中则是作为生成器理解，生成器的用处主要可以迭代，这样简化了很多运算模型(还不是很了解是如何简化的)。

 

yield是一个表达式,是有返回值的.

 

当一个函数中含有yield时,它不再是一个普通的函数,而是一个生成器.当该函数被调用时不会自动执行,而是暂停,见第一个例子:

例1：

>>> def mygenerator():
...     print ‘start...‘
...     yield 5
... 
>>> mygenerator()            //在此处调用,并没有打印出start...说明存在yield的函数没有被运行,即暂停
<generator object mygenerator at 0xb762502c>
>>> mygenerator().next()     //调用next()即可让函数运行.
start...
5
>>> 

如一个函数中出现多个yield则next()会停止在下一个yield前,见例2:

例2:

>>> def fun2():
...     print ‘first‘
...     yield 5
...     print ‘second‘
...     yield 23
...     print ‘end...‘
... 
>>> g1 = fun2()
>>> g1.next()             //第一次运行,暂停在yield 5             
first
5
>>> g1.next()             //第二次运行,暂停在yield 23
second
23
>>> g1.next()             //第三次运行,由于之后没有yield,再次next()就会抛出错误
end...
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration
>>> 

为什么yield 5会输出5,yield 23会输出23?

我们猜测可能是因为yield是表达式,存在返回值.

那么这是否可以认为yield 5的返回值一定是5吗？实际上并不是这样，这个与send函数存在一定的关系，这个函数实质上与next()是相似的，区别是send是传递yield表 达式的值进去，而next不能传递特定的值，只能传递None进去，因此可以认为g.next()和g.send(None)是相同的。见例3:

例3:

>>> def fun():
...     print ‘start...‘
...     m = yield 5
...     print m
...     print ‘middle...‘
...     d = yield 12
...     print d
...     print ‘end...‘
... 
>>> m = fun()              //创建一个对象
>>> m.next()               //会使函数执行到下一个yield前
start...
5
>>> m.send(‘message‘)      //利用send()传递值
message                    //send()传递进来的 
middle...
12
>>> m.next()
None                       //可见next()返回值为空
end...
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

 

 

至此还没有说yield在这种语句“m = yield 5”的用法，下面详细描述

 

1. 包含yield的函数

假如你看到某个函数包含了yield，这意味着这个函数已经是一个Generator，它的执行会和其他普通的函数有很多不同。比如下面的简单的函数：

def h():
    print ‘To be brave‘
    yield 5

h()

可以看到，调用h()之后，print 语句并没有执行！这就是yield，那么，如何让print 语句执行呢？这就是后面要讨论的问题，通过后面的讨论和学习，就会明白yield的工作原理了。

2. yield是一个表达式

Python2.5以前，yield是一个语句，但现在2.5中，yield是一个表达式(Expression)，比如：

m = yield 5

表达式(yield 5)的返回值将赋值给m，所以，认为 m = 5 是错误的。那么如何获取(yield 5)的返回值呢？需要用到后面要介绍的send(msg)方法。

3. 透过next()语句看原理

现在，我们来揭晓yield的工作原理。我们知道，我们上面的h()被调用后并没有执行，因为它有yield表达式，因此，我们通过next()语句让它执行。next()语句将恢复Generator执行，并直到下一个yield表达式处。比如：

def h():
    print ‘Wen Chuan‘
    yield 5
    print ‘Fighting!‘

c = h()
c.next()

c.next()调用后，h()开始执行，直到遇到yield 5，因此输出结果：

Wen Chuan
5 #在交互式环境中才会出现5，在文件中运行则没有，一直没有搞清楚是什么原因，如果有知道的请指点。

当我们再次调用c.next()时，会继续执行，直到找到下一个yield表达式。由于后面没有yield了，因此会拋出异常（以下结果也是在交互式环境中运行的）：

>>> c.next()
Fighting!
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

4. send(msg) 与 next()

了解了next()如何让包含yield的函数执行后，我们再来看另外一个非常重要的函数 send(msg)。其实next()和send()在一定意义上作用是相似的，区别是send()可以传递yield表达式的值进去，而next()不 能传递特定的值，只能传递None进去。因此，我们可以看做
c.next() 和 c.send(None) 作用是一样的。
来看这个例子：

def h():
    print ‘Wen Chuan‘,
    m = yield 5  # Fighting!
    print m
    d = yield 12
    print ‘We are together!‘

c = h()
c.next()  #相当于c.send(None)
c.send(‘Fighting!‘)  #(yield 5)表达式被赋予了‘Fighting!‘

输出的结果为：
Wen Chuan Fighting!
需要提醒的是，第一次调用时，请使用next()语句或是send(None)，不能使用send发送一个非None的值，否则会出错的，因为没有yield语句来接收这个值。

5. send(msg) 与 next()的返回值

send(msg) 和 next()是有返回值的，它们的返回值很特殊，返回的是下一个yield表达式的参数。比如yield 5，则返回 5 。到这里，是不是明白了一些什么东西？本文第一个例子中，通过for i in alist 遍历 Generator，其实是每次都调用了alist.Next()，而每次alist.Next()的返回值正是yield的参数，即我们开始认为被压进 去的东东。我们再延续上面的例子：

def h():
    print ‘Wen Chuan‘,
    m = yield 5  # Fighting!
    print m
    d = yield 12
    print ‘We are together!‘

c = h()
m = c.next()  #m 获取了yield 5 的参数值 5
d = c.send(‘Fighting!‘)  #d 获取了yield 12 的参数值12
print ‘We will never forget the date‘, m, ‘.‘, d

输出结果：
Wen Chuan Fighting!
We will never forget the date 5 . 12

6. throw() 与 close()中断 Generator

中断Generator是一个非常灵活的技巧，可以通过throw抛出一个GeneratorExit异常来终止Generator。Close()方法作用是一样的，其实内部它是调用了throw(GeneratorExit)的。我们看：

def close(self):
    try:
        self.throw(GeneratorExit)
    except (GeneratorExit, StopIteration):
        pass
    else:
        raise RuntimeError("generator ignored GeneratorExit")
# Other exceptions are not caught

因此，当我们调用了close()方法后，再调用next()或是send(msg)的话会抛出一个异常：

Traceback (most recent call last):
  File "/home/evergreen/Codes/yidld.py", line 14, in <module>
    d = c.send(‘Fighting!‘)  #d 获取了yield 12 的参数值12
StopIteration