Python基础之使用期物处理并发

导语：本文章记录了本人在学习Python基础之控制流程篇的重点知识及我的心得，打算入门Python的朋友们能够来一块儿学习并交流。

本文重点：

一、掌握异步编程的相关概念；
二、了解期物future的概念、意义和使用方法；
三、了解Python中的阻塞型I/O函数释放GIL的特色。

1、异步编程相关概念

阻塞：程序未获得所需计算资源时被挂起的状态。换句话说，程序在等待某个操做完成期间，自身没法继续干别的事情，则称该程序在该操做上是阻塞的。
并发：描述的是程序的组织结构。指程序要被设计成多个可独立执行的子任务。并发以利用有限的计算机资源使多个任务能够被实时或近实时执行为目的。
并行：指的是多任务同时执行的程序状态，以利用多核CPU加速完成多任务为目的。
异步：为完成某个任务，不一样程序单元之间过程当中无需通讯协调，也能完成任务的方式。
不相关的程序单元之间能够是异步的。简言之，异步意味着无序。
异步编程：以进程、线程、协程、函数/方法做为执行任务的基本单位，结合回调，事件循环、信号量等机制，以提升总体执行效率和并发能力的编程方式。

2、期物

就下载国旗为目标实现的三个客户端中，两个HTTP并发客户端比依序下载的脚本性能高不少。
由此说明使用并发能够高效处理网络I/O。

期物(future)指一种对象，表示异步执行的操做。
期物对象：concurrent.futures.Future或asyncio.Future类的实例。
三大方法：

• Executor.submit()：建立期物。
• concurrent.futures.as_completed()：迭代运行结束的期物，返回一个迭代器。
• Executor.map(): 处理参数不一样的同一个可调用对象。

小结：Executor.submit()加futures.as_completed()的组合比Executor.map()更灵活，由于submit()能处理不一样的可调用对象和参数。

concurrent.futures模块的主要特点是ThreadPoolExecutor和ProcessPoolExecutor类，这两个类实现的接口能分别在不一样的线程或进程中执行可调用的对象。
注意：一般状况下本身不该该建立期物，而只能由并发框架(concurrent.futures或asyncio)实例化。

实例：concurrent.futures模块应用

from concurrent import futures

from flags import save_flag, get_flag, show, main 

MAX_WORKERS = 20

def download_one(cc): 
    image = get_flag(cc)
    show(cc)
    save_flag(image, cc.lower() + '.gif')
    return cc

def download_many(cc_list):
    workers = min(MAX_WORKERS, len(cc_list))  
    with futures.ThreadPoolExecutor(workers) as executor: 
        res = executor.map(download_one, sorted(cc_list))  

    return len(list(res))

if __name__ == '__main__':
    main(download_many)

3、阻塞性I/O与GIL

Python标准库中全部阻塞型I/O函数都会释放全局解释器锁（GIL），容许其余线程运行。
所以尽管有GIL，Python线程仍然适合在I/O密集型系统使用。

4、线程和多进程的替代方案

• 对CPU密集型工做来讲，要启动多个进程，规避GIL。
• 建立多进程最简单的方式是使用futures.ProcessPoolExecutor类。
• threading和multiprocessing模块：是Python中多线程和多进程并发的低层实现。