玩转python生成器的原理

Posted bubingy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了玩转python生成器的原理相关的知识,希望对你有一定的参考价值。

函数的调用满足“后进先出”的原则,也就是说,最后被调用的函数应该第一个返回,函数的递归调用就是一个经典的例子。显然,内存中以“后进先出”方式处理数据的栈段是最适合用于实现函数调用的载体,在编译型程序语言中,函数被调用后,函数的参数,返回地址,寄存器值等数据会被压入栈,待函数体执行完毕,将上述数据弹出栈。这也意味着,一个被调用的函数一旦执行完毕,它的生命周期就结束了。

在python这样的解释型语言中,函数的调用也是依赖栈的。之前说过,python的标准解释器是用C写的。解释器用一个叫做PyEval_EvalFrameEx的C函数来执行python程序。对于一个python中的函数,解释器接受一个python的栈帧对象,并在这个栈帧的上下文中执行python字节码。

我们来看看这样一个例子:

import dis

def foo():
    bar()

def bar():
    pass
    
print(dis.dis(foo))

我们用dis模块可以查看python程序的字节码,下面是函数foo()的字节码:

0 LOAD_GLOBAL              0 (bar)
2 CALL_FUNCTION            0
4 POP_TOP
6 LOAD_CONST               0 (None)
8 RETURN_VALUE

foo函数将bar加载到栈中并调用它,然后从栈中弹出返回值,最后加载并返回None,当PyEval_EvalFrameEx遇到CALL_FUNCTION字节码的时候,它会创建一个新的python栈帧,然后用这个新的帧作为参数递归调用PyEval_EvalFrameEx来执行bar。不过有一点要注意的是,python解释器是个普通的C程序,所以它的堆栈帧就是普通的堆栈。但是它操作的python堆栈帧是分配在堆上的,所以python的栈帧可以在它的调用之外存活。而且可以显式的保存下来。

这是python生成器的技术基础,下面是一个生成器:

def gen():
    yield 1
    yield 2

g = gen()
next(g)

print(type(g))

返回的结果是:

<class \'generator\'>

调用gen()产生的所有生成器都指向同一个代码对象,但是每个都有自己的堆栈帧。这个堆栈帧并不存在于实际的堆栈上,它在堆内存上等待着被使用。

堆栈帧有个“last instruction”指针,指向最近执行的那条指令。刚开始的时候last instruction指针是-1意味着生成器尚未开始,这就是为什么上面的例子中有next(g)这行代码。生成器可以在任何时候被任何函数恢复执行,因为它的栈帧实际上不在栈上而是在堆上。生成器在调用调用层次结构中的位置不是固定的,也不需要遵循常规函数执行时遵循的先进后出顺序。因为这些特性,生成器不仅能用于生成可迭代对象,还可以用于实现多任务协作。下一篇博文我会介绍python中一个很重要的概念:协程。

以上是关于玩转python生成器的原理的主要内容,如果未能解决你的问题,请参考以下文章

Apollo Codegen 没有找到生成代码的操作或片段

[python] 几行代码也能玩转世界地图?

Python 玩转随机数

玩转 Python 列表解析式能用一行代码写的,千万别敲回车!

玩转 Python 列表解析式能用一行代码写的,千万别敲回车!

python 装饰器从放弃到玩转(初级)