PythonI/O进阶学习笔记_9.python的生成器

 content：

1. 什么是生成器

2. 生成器的实现

3. 生成器的应用

 

一.生成器简介

1.什么是生成器

    在 Python 中，使用了 yield 的函数被称为生成器（generator）。

    跟普通函数不一样的是，生成器是一个返回迭代器的函数，只能用于迭代操做，更简单点理解生成器就是一个迭代器。

在调用生成器运行的过程当中，每次遇到 yield 时函数会暂停并保存当前全部的运行信息，返回 yield 的值, 并在下一次执行 next() 方法时从当前位置继续运行。

调用一个生成器函数，返回的是一个迭代器对象。

能够看到，普通函数就是返回的return，而生成器函数是生成了一个生成器对象。

 

为何能和普通函数不同返回生成器对象？

由于在python在运行以前进行编译成字节码。发现了yield关键字，因此在编译的时候就定义了。

生成器对象，实际上也是实现了咱们的迭代协议的。

 

为啥会用到生成器？    

 简单举个例子：

    列表全部数据都在内存中，若是有海量数据的话将会很是耗内存。若是仅仅须要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。

    若是列表元素能按照某种算法推算出来，那咱们就能够在循环的过程当中不断推算出后续的元素，这样就没必要建立完整的list，从而节省大量的空间。

 

生成器在python中的设计使用

实现了延迟求值和惰性求值，也是后面协程实现的基础。

 

2.生成器怎么用

例子：实现斐波拉契数列

#input
def fib(x):
    if x<3:
        return 1
    else:
        return fib(x-1)+fib(x-2)
 
def fib2(x):
    n=0
    last=1
    sum=0
    while n<x:
        yiled last 
        sum,last=last,sum+last
        n=n+1
 
if __name__=="__main__":
    f=fib(6)
    print(f)
    f2=fib2(6)
    for i in f2:
        print(i)
    pass
 
#output
8
1
1
2
3
5
8

 

二. 生成器的实现

生成器其实用起来仍是比较简单的，可是不理解原理的时候，用的时候是否是虚虚的。

 

1.python函数的工做原理

python解释器其实是用c来写的。解释器会用C实现的函数( PyEval_EvalFramEx)去执行函数。

这个 PyEval_EvalFramEx 首先会建立一个栈帧(Stack Frame)对象，就是那种记录上下文的堆栈。注意python里一切皆对象哦。

而后会将代码也变成字节码对象。查看一个函数的字节码：

#input
def foo():
    bar
def bar():
    pass
import  dis
print(dis.dis(foo))
 
#output:
  2           0 LOAD_GLOBAL              0 (bar)
              2 POP_TOP
              4 LOAD_CONST               0 (None)
              6 RETURN_VALUE
None

在调用函数以前，会建立那个栈帧对象，而后在上下文中，运行这个全局惟一的字节码。

当foo调用bar的时候，又会建立一个栈帧，而后将bar的控制权交给foo的栈帧对象。

全部栈帧都是分配在堆内存（不去释放，就一直在内存中）上，这就决定了栈帧能够独立于调用者存在。

 

什么意思呢？

就是在foo函数退出以后，咱们仍然能够找到以前调用过的foo，或者它的子函数bar的栈帧，并无和静态语言同样函数运行完了以后就被释放。

 

2.生成器对象原理

假设咱们实现一个生成器函数：

def gen_func():
    yield 1
    name="bobby"
    yield 2
    age=30
    return "tangrong"

这个生成器对象实际上以下图所示：

实际上，就是在1中的PyFrameObject上面，再封了一层，为PyGenObject。

而且，再yield时候，实际上就是暂停了最近的那句代码。当时的上下文都是被保存的，即f_lasti,f_locals。在任何地方均可以暂停和控制它。

查看yield时，保存的lasti和locals：

#input
def gen_func():
    yield 1
    name="bobby"
    yield 2
    age=30
    return "tangrong"
 
gen=gen_func()
print(gen.gi_frame.f_lasti)
print(gen.gi_frame.f_locals)
next(gen)
print(gen.gi_frame.f_lasti)
print(gen.gi_frame.f_locals)
next(gen)
print(gen.gi_frame.f_lasti)
print(gen.gi_frame.f_locals)
 
#outpu:
-1
{}
2
{}
12
{'name': 'bobby'}

 

 

三.生成器的应用

1.生成器在Userlist中的应用

    咱们知道，对list能够进行循环遍历。由于其是可迭代的。若是实现了__getitem__也是能够进行for遍历的。并且是会先去查找__iter__，没有发现__iter__魔法方法才会去找__getitem__方法。

    咱们去看list类的源码的时候，其实就是提供了给咱们看的接口，实际的c语言实现并看不到。并且咱们在定制本身的List类的时候，是彻底不提倡去继承list的，由于里面的不少关键方法是不能被重写的。可是python提供了UserList，即python实现的list。

首先，UserList是继承的MutableSequence。

而在MutableSequence的__iter__的实现中，就应用到了生成器。

 

 

2.生成器是如何读取大文件的（如何使用生成器表达式）

#将一个500g的文件读取出来 写入数据库 而且这个文件只有一行数据，有特定的分隔符。

#若是是多行的话，用open一行行读取仍是能够的。

#可是实际上！！ 文件对象的read函数，是能够传递我要读取的大小的，而且偏移量会被记录。