Python笔记003-生成器和生成器表达式

Python笔记003-生成器和生成器表达式

如下是我学习《流畅的Python》后的我的笔记，如今拿出来和你们共享，但愿能帮到各位Python学习者。

首次发表于: 微信公众号：科技老丁哥，ID: TechDing，敬请关注。

本篇主要知识点：

1. 生成器使用yield作关键字，一次只返回一个值给调用者，而后暂停执行，其做用是：节省内存空间。

2. 生成器能够用next()函数，也能够用for迭代的方式获取元素值，中间还能够用close()来随时终止生成器。

3. 生成器表达式能够认为是一种特殊的生成器，其代码更简洁，更容易理解，且和别的函数结合会更加灵活。

1. 生成器

生成器是Python中一个特殊的程序，用于控制循环的迭代行为。相对于通常函数用return来一次性返回全部值，生成器使用yield关键字，一次只返回一个值。

这样的设计有很大的好处：在数据处理时，若是函数return出来的是一个很是大的数组，那么会很是占用内存，有时会报MemoryError的错误，而使用yield后一次仅仅返回一个元素值，能够优化内存占用的状况。

从这种角度来说，生成器函数每一次调用都返回一个元素值，这种特性使得生成器长得像函数，但行为却像迭代器。

def squares(x): # 计算0-x的全部数的平方
# return [i*i for i in range(x)] # 普通写法，一次返回一个list，包含全部元素
    for i in range(x):
        yield i*i # 生成器：一次只返回一个值
print(squares(5)) # <generator object squares at 0x00000157DBD16830>
# 获取生成器中的元素值
for value in squares(5): # 行为相似于迭代器，循环获取元素值
    print('value: ',value)
复制代码

生成器并不像通常的函数，它返回一个值后，生成器函数会自动挂起，等到下一次调用时（使用其内部成员方法__next__来实现），再返回到这个函数中继续执行。

因此要想获取生成器的元素值，须要经过成员方法next()来进行，好比：

square_five=squares(5)
print(next(square_five)) # 0
print(next(square_five)) # 1
print(next(square_five)) # 4
print(next(square_five)) # 9
print(next(square_five)) # 16
print(next(square_five)) # 报错：StopIteration: 超过yield的全部元素
复制代码

next()函数每次执行时，都会继续执行挂起的生成器函数，直到执行完毕。

生成器的这种特色被称为"延迟计算"或"惰性求值(Lazy evaluation)"，能够有效的节省内存。惰性求值其实是体现了协同程序的思想。

虽然生成器的这种行为相似于迭代器，但二者有较大差异，迭代器不具有这种执行-暂停-再执行-再暂停的特性，因此迭代器不具备延迟计算，没有协同程序的思想。

使用延迟计算后，能够极大的节省内存，好比对大文件进行读取操做时，能够用下列生成器方法：

## 读取大文件的生成器方法：
def load_big_file(file_path):
    BLOCK_SIZE = 1024
    with open(file_path, 'rb') as f:
        while True:
            block = f.read(BLOCK_SIZE)
            if block:
                yield block # 一次只加载一个block到内存中，避免MemoryError
            else:
                return
复制代码

生成器除了用next()函数来处理以外，还能够用close()来随时退出生成器。以下代码：

## 使用close()能够随时退出生成器
square_five=squares(5)
print(next(square_five)) # 0
print(next(square_five)) # 1
print(next(square_five)) # 4
square_five.close() # 退出生成器
print(next(square_five)) # Error: StopIteration:
print(next(square_five)) # Error: StopIteration:
复制代码

2. 生成器表达式

从形式上来看，生成器表达式和列表推导式很像，仅仅是将列表推导式中的[]替换为()，可是二者差异挺大，生成器表达式能够说组合了迭代功能和列表解析功能。

生成器表达式能够认为是一种特殊的生成器函数，相似于lambda表达式和普通函数。可是和生成器同样，生成器表达式也是返回生成器generator对象，一次只返回一个值。

# 上面的squares函数能够改写为：
# 列表推导式的写法是：
squares_list=[i*i for i in range(5)] # 一次性返回整个list
print('列表推导式：',squares_list) # 列表推导式： [0, 1, 4, 9, 16]
# 生成器表达式：
squares2=(i*i for i in range(5)) # 生成器表达式一次返回一个值
print('生成器表达式：',squares2) # 生成器表达式： <generator object ..
print(next(squares2)) # 0
print(next(squares2)) # 1
print(next(squares2)) # 4
复制代码

生成器表达式是一种特殊的生成器，因此它也有生成器的特性，可使用for循环来获取元素值，for循环内部自动调用了next()函数来执行。

# generator对象能够直接用for来获取全部元素值
squares2=(i*i for i in range(5)) # 生成器表达式就是一个generator对象
for i in squares2:
    print('i: ',i)

# 上面能够简写为：
[print('i: ',i) for i in (i*i for i in range(5))]
复制代码

生成器表达式若是做为某个函数的参数，则能够省略掉()，直接使用便可，eg:

## 若是生成器表达式整个做为某个函数的参数，能够省略掉()
max_value=max(i*i for i in range(5))  # 计算生成器的全部元素中的最大值
print(max_value) # 16
复制代码

首次发表于: 微信公众号：科技老丁哥，ID: TechDing，敬请关注。

本文全部代码都已经上传到个人github，欢迎下载

参考资料：

1. 《流畅的Python》，Luciano Ramalho (做者) 安道 , 吴珂 (译者)。