从yield 到yield from再到python协程

yield 关键字

def fib():
    a, b = 0, 1
    while 1:
       yield b
       a, b = b, a+b

 

yield 是在：PEP 255 -- Simple Generators 这个pep引入的

yield 只能在函数内部使用，包含yield语句的函数称为生成器函数

当调用生成器函数时，并不会执行函数体中的代码，而是返回一个生成器对象

每次调用生成器对象的next()方法时，才会执行生成器函数中的代码，直到遇到yield 或者return 语句。

若是遇到yield 语句， 怎会挂起函数的运行状态，并将yield 右边的表达式的值返回给next()的调用者， 挂起的时候会保存全部本地状态，包括局部变量，指令指针和内部堆栈信息，这样当下次再次调用next()时, 看起来yield 部分就像是调用了一个外部调用同样，能够接着往下执行

注意：try/ finnally 结构中的try子句中不容许使用yield语句， 问题是由于没法保证生成器被恢复，所以没法保证finally块将被执行

 

yield from 关键字

yield from关键字是在：PEP 380 -- Syntax for Delegating to a Subgenerator 中提出的

用于生成器将其部分操做委托给另一个生成器，这容许将包含yield的一段代码分解出来并放在另一个生成器中，此外，容许子生成器返回一个值，这个值可供委派生成器使用

 

上述描述听起来可能仍是不是特别清楚，咱们先看一下语法：

yield from <expr>

 

yield from expr 表达式中，作的第一件事就是调用iter(expr) 从中获取迭代器，所以expr能够是任何可迭代的对象

经过下面的下例子把yield 和yield from 作对比

from collections import namedtuple


Result = namedtuple("Result", "count average")

li = [40.9, 38.5, 44.3, 42.2, 45.2, 41.7, 44.5, 38.0, 40.6, 44.5]

# 子生成器
def averager():
    total = 0.0
    count = 0
    average = None
    while True:
        term = yield
        if term is None:
            break
        total += term
        count += 1
        average = total/count
    return Result(count, average)

# 委派生成器
def grouper(result, key):
    while True:
        result[key] = yield from averager()

# 调用方
def main():
    results = {}
    group = grouper(results, "kg")
    next(group)
    for value in li:
        group.send(value)
    group.send(None)


if __name__ == "__main__":
    main()

yield from的主要功能是打开双向通道，把最外层的调用方与最内层的子生成器链接起来，这样两者能够直接发送和产出值，还能够直接传入异常

yield from 的六个重要意义

关于yield from 六点重要的说明：

1. 子生成器产出的值都直接传给委派生成器的调用方(即客户端代码)
2. 使用send()方法发送给委派生成器的值都直接传给子生成器。若是发送的值为None,那么会给委派调用子生成器的__next__()方法。若是发送的值不是None,那么会调用子生成器的send方法，若是调用的方法抛出StopIteration异常，那么委派生成器恢复运行，任何其余异常都会向上冒泡，传给委派生成器
3. 生成器退出时，生成器(或子生成器)中的return expr表达式会出发StopIteration(expr)异常抛出
4. yield from表达式的值是子生成器终止时传给StopIteration异常的第一个参数。yield from 结构的另外两个特性与异常和终止有关。
5. 传入委派生成器的异常，除了GeneratorExit以外都传给子生成器的throw()方法。若是调用throw()方法时抛出StopIteration异常，委派生成器恢复运行。StopIteration以外的异常会向上冒泡，传给委派生成器
6. 若是把GeneratorExit异常传入委派生成器，或者在委派生成器上调用close()方法，那么在子生成器上调用clsoe()方法，若是它有的话。若是调用close()方法致使异常抛出，那么异常会向上冒泡，传给委派生成器，不然委派生成器抛出GeneratorExit异常

python协程

Python的生成器函数和python的协程很是接近 ,但并不彻底 - 由于生成器然容许暂停执行以生成值，可是不提供在执行恢复时传递的值或异常。

而且生成器不容许在try / finally块的try部分中暂停执行，所以使停止的协程很难在其自身以后进行清理。

 

1. 将yield从新定义为表达式，而不是语句。当前的yield语句将成为一个yield值表达式，其值将被丢弃。每当经过正常的next（）调用恢复生成器时，yield表达式的值为None
2. 为generator-iterators 添加了一个新的方法send(), 它能够恢复生成器并发送给生成一个值，该值称为yield - expression的结果，send（）方法返回生成器产生的下一个值，若是生成器退出而不产生另外一个值，则引起StopIteration。
3. 为generator-iterators 添加了一个新的方法throw(), 它在生成器暂停时引起异常，并返回生成器产生的下一个值，若是生成器退出而不产生另外一个值，则引起StopIteration（若是生成器没有捕获传入的异常，或者引起另外的一个异常，那么该异常会传播给调用者）
4. 为generator-iterators 添加了一个新的方法close(), 在生成器暂停的位置引起一个GeneratorExit 异常，若是一个生成器引起了StopIteration 异常或者GeneratorExit 异常， close()方法将返回给它的调用者，若是生成是yield 一个值，会引起RuntimeError 异常。若是一个生成器引起了任何其余异常，则会传给他的调用者 ，若是生成器，因为异常退出或者已经正常退出，那么close()不执行任何操做。
5. 确保了当生成器被垃圾回收的时候执行close()
6. 由于垃圾回收或者clsoe被调用将容许容许yield在try / finally块中使用。

send方法

send方法只有一个参数，就是发送值到生成器，调用send(None)至关于调用生成器的next()方法

由于咱们开始执行生成器函数的时候，并无实际执行生成器函数中的代码而是返回一个生成器对象，因此咱们须要调用next()或者send(None)来激活协程

与next（）方法同样，send（）方法返回generator-iterator产生的下一个值，若是生成器正常退出或已经退出，则引起StopIteration。若是生成器引起未捕获的异常，它将传播到send（）的调用者

 

throw方法

让生成器在被挂起的位置抛出指定的异常，若是生成器捕获了异常而且返回的另一个值，那么这个值就是g.throw()返回的值

若是生成器没有捕获异常，那么throw()将会引起传递相同的异常，若是生成器引起了另一个异常，throw调用将引起异常，总之throw()的行为相似next()或者send()

除了它在挂起的时候引起异常。若是生成器已经处于关闭状态，throw() 只会引起它传递的异常，而不执行任何生成器的代码

 

generator.throw:会让生成器在暂停的yield表达式处抛出指定的异常，若是生成器处理了抛出的异常，代码会向前执行到下一个yield表达式，而产出的值会成为调用generator.throw方法代码的返回值。若是生成器没有处理抛出的异常，异常会向上冒泡，传到调用方的上下文中。
generator.close:会让生成器在暂停的yield表达式处抛出GeneratorExit异常。若是生成器没有处理这个异常，或者抛出了StopIteration异常，调用方不会报错，若是收到GeneratorExit异常，生成器必定不能产出值，不然解释器会抛出RuntimeError异常。生成器抛出的异常会向上冒泡，传给调用方。

 

早期的python协程，语法上协程和生成器看起来也很是相似，也是经过yield关键字如：num = yield

def simple_coroutine():
    print("coroutine start")
    x = yield
    print("coroutine receive [%s]" %x)


coroutine = simple_coroutine()
print(coroutine)
next(coroutine)
coroutine.send(888)

 

上面的例子中yield 的右边没有表达式，因此默认产出的值为None,经过以前将yield 关键字的时候咱们已经知道当咱们执行函数的时候

并不会运行生成器函数中的代码，而是返回一个生成器对象，因此咱们须要经过调用next(...)来激活协程，这个时候开始运行生成器函数，

当运行到x = yield的时候，yield的右边若是有表达式，则会先进行右边表达式的计算，而后再进行赋值，因此当上面函数执行next()以后，

程序会停在yield那里，当咱们调用send方法后yield会收到这个值并赋值给x,而当程序运行到协程定义体的末尾时和用生成器的时候同样会抛出StopIteration异常

若是协程没有经过next(...)激活(一样咱们能够经过send(None)的方式激活)，可是咱们直接send，则会出错

 

关于调用next(...)函数这一步一般称为”预激(prime)“协程，即让协程向前执行到第一个yield表达式，准备好做为活跃的协程使用

协程在运行过程当中有四个状态：

1. GEN_CREATE:等待开始执行
2. GEN_RUNNING:解释器正在执行，这个状态通常看不到
3. GEN_SUSPENDED:在yield表达式处暂停
4. GEN_CLOSED:执行结束