python yieldyield from与协程

Posted 2021-02-14 漫漫芜

从生成器到协程

协程是指一个过程，这个过程与调用方协作，产出由调用方提供的值。生成器的调用方可以使用 .send(...)方法发送数据，发送的数据会成为yield表达式的值。因此，生成器可以作为协程使用。

从句法上看，生成器与协程都是包含yield关键字的函数。但是，在协程中，yield通常出现在表达式的右边（* = yield *），可以产出值也可以不产出（yield关键字后边没有表达式，产出None）。

协程有四个状态：

GEN_CREATED：等待开始执行

GEN_RUNNING：正在执行（只有在多线程应用或生成器对象自身调用getgeneratorstate函数可以看到此状态）

GEN_SUSPENDED：在yield表达式处阻塞

GEN_CLOSED：执行结束

使用inspect.getgeneratorstate(...)函数可以查看当前协程的状态。

使用协程的基本步骤为：

• 创建协程对象
• 调用next函数，激活协程
• 调用 .send(...)方法，推动协程执行并产出

一个累积求和的协程示例如下：

如上图示例所示，协程中产出的值会返回给调用方，同时，通过yield将调用方传入的参数赋值给yield表达式左边的变量，并推动协程继续执行。

终止协程和异常处理

因为协程使用生成器函数定义，因此遵循生成器的特性，当协程执行到定义体末尾时，会抛出StopIteration异常。如果协程在执行过程中发生了未处理的异常，协程会终止运行并将异常抛出，此时，试图重新激活协程会抛出StopIteration异常。代码示例：

示例代码中，依然使用累积求和的协程，调用时因为传入了字符串参数，导致协程因TpyeError异常而终止，再次试图调用时，抛出了StopIteration异常。

调用方可以通过调用生成器对象 .throw(exc_type[, exc_value[, traceback]])方法，致使生成器在阻塞的yield表达式处抛出指定的异常。如果生成器处理了抛出的异常，代码会向前执行到下一个yield表达式，产出的表达式会成为 .throw()方法的返回值；如果生成器没有处理抛出的异常，异常会向上冒泡，传到调用方的上下文中。代码示例：

上图示例代码中，协程对TypeError进行了处理，所以当调用方将TpyeError异常发给协程时没有终止；而当调用方将ValueError发给协程时，由于没有处理，协程终止并将异常向上抛给调用方处理，调用方虽然捕获了该异常，但试图再次调用协程时，由于协程已终止，故抛出了StopIteration异常。

调用方可以通过生成器对象的 .close()方法，致使生成器在阻塞的yield表达式处抛出GeneratorExit异常。如果生成器没有处理这个异常，或者抛出了StopIteration异常（通常指运行到程序结尾），调用方不会报错。代码示例：

上图示例代码中，调用 .close()方法后，调用方没有报错，协程终止且返回值为None，试图再次激活协程对象时，会抛出StopIteration异常。

需要注意的是：如果在协程中捕获了GeneratorExit异常，会导致RuntimeError；如果使用 .throw()方法直接将GeneratorExit异常发给协程，调用方会报错并导致GeneratorExit异常。

让协程返回值

有些协程不会产出值，而是在执行结束后返回一个值，而为了返回这个值，协程必须正常终止。代码示例：

上图示例中，协程不再产出值，通过send(None)结束协程，代码执行到最后触发StopIteration异常，而返回值作为StopIteration异常的一个属性返回给调用方。

yield from

yield from是全新的语言结构，多用于嵌套生成器。其主要功能是开辟一个双向通道，把最外层的调用方与最内层的子生成器连接起来，这样二者可以发送/产出值，还可以直接传入异常，而不用在位于中间层的协程中添加大量处理异常的代码。简言之即yield from可以方便的实现生成器嵌套调用并自动处理大部分异常。

理解yield from首先要理解三个概念：

• 调用方：指委派生成器的客户端代码
• 委派生成器：包含yield from <iterable>表达式的生成器函数
• 子生成器：从yield from表达式中<iterable>部分获取的生成器

典型的调用逻辑为：客户端代码（调用方）调用委派生成器对象，委派生成器在yield from表达式处阻塞，此时调用方与子生成器之间的双向通道打开，调用方可以直接把数据发给子生成器，子生成器把产出的值发给调用方。子生成器执行结束，解释器抛出StopIteration异常，并把返回值附加到异常对象上，此时委派生成器恢复执行。委派生成器yield from语句自动处理子生成器抛出的StopIteration异常及附加在异常对象上的返回值。代码示例如下：

注意：委派生成器执行结束时也会抛出StopIteration异常，这里使用了永久循环+全局变量（不推荐）的方式避免委派生成器退出引发StopIteration异常且使客户端能够拿到子生成器返回的结果。实际应用中应视情况进行异常处理。子生成器StopIteration之外未处理的异常会向上冒泡传给委派生成器处理，yield from表达式的值是子生成器终止时传给StopIteration异常的第一个参数。python3.5以后引入了await关键字来替代yield from，使代码更加简洁清晰。

以上。