python之协程
一 引子
本节的主题是基于单线程来实现并发，即只用一个主线程（很明显可利用的cpu只有一个）状况下实现并发，为此咱们须要先回顾下并发的本质：切换+保存状态python
cpu正在运行一个任务，会在两种状况下切走去执行其余的任务（切换由操做系统强制控制），一种状况是该任务发生了阻塞，另一种状况是该任务计算的时间过长或有一个优先级更高的程序替代了它nginx
协程本质上就是一个线程，之前线程任务的切换是由操做系统控制的，遇到I/O自动切换，如今咱们用协程的目的就是较少操做系统切换的开销（开关线程，建立寄存器、堆栈等，在他们之间进行切换等），在咱们本身的程序里面来控制任务的切换。git
ps：在介绍进程理论时，说起进程的三种执行状态，而线程才是执行单位，因此也能够将上图理解为线程的三种状态 github
一：其中第二种状况并不能提高效率，只是为了让cpu可以雨露均沾，实现看起来全部任务都被“同时”执行的效果，若是多个任务都是纯计算的，这种切换反而会下降效率。为此咱们能够基于yield来验证。yield自己就是一种在单线程下能够保存任务运行状态的方法，咱们来简单复习一下：编程
#1 yiled能够保存状态，yield的状态保存与操做系统的保存线程状态很像，可是yield是代码级别控制的，更轻量级 #2 send能够把一个函数的结果传给另一个函数，以此实现单线程内程序之间的切换
经过yield实现任务切换+保存现场
单纯的切换反而会下降运行效率
二：第一种状况的切换。在任务一遇到io状况下，切到任务二去执行，这样就能够利用任务一阻塞的时间完成任务二的计算，效率的提高就在于此。网络
yield不能检测IO，实现遇到IO自动切换
协程就是告诉Cpython解释器，你不是nb吗，不是搞了个GIL锁吗，那好，我就本身搞成一个线程让你去执行，省去你切换线程的时间，我本身切换比你切换要快不少，避免了不少的开销，对于单线程下，咱们不可避免程序中出现io操做，但若是咱们能在本身的程序中（即用户程序级别，而非操做系统级别）控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另一个任务去计算，这样就保证了该线程可以最大限度地处于就绪态，即随时均可以被cpu执行的状态，至关于咱们在用户程序级别将本身的io操做最大限度地隐藏起来，从而能够迷惑操做系统，让其看到：该线程好像是一直在计算，io比较少，从而更多的将cpu的执行权限分配给咱们的线程。多线程
协程的本质就是在单线程下，由用户本身控制一个任务遇到io阻塞了就切换另一个任务去执行，以此来提高效率。为了实现它，咱们须要找寻一种能够同时知足如下条件的解决方案：并发
#1. 能够控制多个任务之间的切换，切换以前将任务的状态保存下来，以便从新运行时，能够基于暂停的位置继续执行。 #2. 做为1的补充：能够检测io操做，在遇到io操做的状况下才发生切换
二 协程介绍
协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序本身控制调度的。、负载均衡
须要强调的是：
#1. python的线程属于内核级别的，即由操做系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其余线程运行） #2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操做系统）控制切换，以此来提高效率（！！！非io操做的切换与效率无关）
对比操做系统控制线程的切换，用户在单线程内控制协程的切换
优势以下：
#1. 协程的切换开销更小，属于程序级别的切换，操做系统彻底感知不到，于是更加轻量级 #2. 单线程内就能够实现并发的效果，最大限度地利用cpu
缺点以下：
#1. 协程的本质是单线程下，没法利用多核，能够是一个程序开启多个进程，每一个进程内开启多个线程，每一个线程内开启协程 #2. 协程指的是单个线程，于是一旦协程出现阻塞，将会阻塞整个线程
总结协程特色：
- 必须在只有一个单线程里实现并发
- 修改共享数据不需加锁
- 用户程序里本身保存多个控制流的上下文栈
- 附加：一个协程遇到IO操做自动切换到其它协程（如何实现检测IO，yield、greenlet都没法实现，就用到了gevent模块（select机制））
三 Greenlet
若是咱们在单个线程内有20个任务，要想实如今多个任务之间切换，使用yield生成器的方式过于麻烦（须要先获得初始化一次的生成器，而后再调用send。。。很是麻烦），而使用greenlet模块能够很是简单地实现这20个任务直接的切换
#安装 pip3 install greenlet
from greenlet import greenlet def eat(name): print('%s eat 1' %name) #2 g2.switch('taibai') #3 print('%s eat 2' %name) #6 g2.switch() #7 def play(name): print('%s play 1' %name) #4 g1.switch() #5 print('%s play 2' %name) #8 g1=greenlet(eat) g2=greenlet(play) g1.switch('taibai')#能够在第一次switch时传入参数，之后都不须要 1
单纯的切换（在没有io的状况下或者没有重复开辟内存空间的操做），反而会下降程序的执行速度
效率对比
greenlet只是提供了一种比generator更加便捷的切换方式，当切到一个任务执行时若是遇到io，那就原地阻塞，仍然是没有解决遇到IO自动切换来提高效率的问题。
上面这个图，是协程真正的意义，虽然没有规避固有的I/O时间，可是咱们使用这个时间来作别的事情了，通常在工做中咱们都是进程+线程+协程的方式来实现并发，以达到最好的并发效果，若是是4核的cpu，通常起5个进程，每一个进程中20个线程（5倍cpu数量），每一个线程能够起500个协程，大规模爬取页面的时候，等待网络延迟的时间的时候，咱们就能够用协程去实现并发。 并发数量 = 5 * 20 * 500 = 50000个并发，这是通常一个4cpu的机器最大的并发数。nginx在负载均衡的时候最大承载量就是5w个
单线程里的这20个任务的代码一般会既有计算操做又有阻塞操做，咱们彻底能够在执行任务1时遇到阻塞，就利用阻塞的时间去执行任务2。。。。如此，才能提升效率，这就用到了Gevent模块。
四 Gevent介绍
#安装 pip3 install gevent
Gevent 是一个第三方库，能够轻松经过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet所有运行在主程序操做系统进程的内部，但它们被协做式地调度。
#用法 g1=gevent.spawn(func,1,2,3,x=4,y=5)建立一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面能够有多个参数，能够是位置实参或关键字实参，都是传给函数eat的，spawn是异步提交任务 g2=gevent.spawn(func2) g1.join() #等待g1结束 g2.join() #等待g2结束 有人测试的时候会发现，不写第二个join也能执行g2，是的，协程帮你切换执行了，可是你会发现，若是g2里面的任务执行的时间长，可是不写join的话，就不会执行完等到g2剩下的任务了
#或者上述两步合做一步：gevent.joinall([g1,g2]) g1.value#拿到func1的返回值
遇到IO阻塞时会自动切换任务
遇到I/O切换
上例gevent.sleep(2)模拟的是gevent能够识别的io阻塞,
而time.sleep(2)或其余的阻塞,gevent是不能直接识别的须要用下面一行代码,打补丁,就能够识别了
from gevent import monkey;monkey.patch_all()必须放到被打补丁者的前面，如time，socket模块以前
或者咱们干脆记忆成：要用gevent，须要将from gevent import monkey;monkey.patch_all()放到文件的开头
from gevent import monkey;monkey.patch_all() #必须写在最上面，这句话后面的全部阻塞所有可以识别了 import gevent #直接导入便可 import time def eat():
#print() print('eat food 1') time.sleep(2) #加上mokey就可以识别到time模块的sleep了 print('eat food 2') def play(): print('play 1') time.sleep(1) #来回切换，直到一个I/O的时间结束，这里都是咱们个gevent作得，再也不是控制不了的操做系统了。 print('play 2') g1=gevent.spawn(eat) g2=gevent.spawn(play_phone) gevent.joinall([g1,g2]) print('主')
咱们能够用threading.current_thread().getName()来查看每一个g1和g2，查看的结果为DummyThread-n，即假线程，虚拟线程，其实都在一个线程里面
进程线程的任务切换是由操做系统自行切换的，你本身不能控制
协程是经过本身的程序（代码）来进行切换的，本身可以控制，只有遇到协程模块可以识别的IO操做的时候，程序才会进行任务切换，实现并发效果，若是全部程序都没有IO操做，那么就基本属于串行执行了。
五 Gevent之同步与异步
协程：同步异步对比
六 Gevent之应用举例一
协程应用：爬虫
将上面的程序最后加上一段串行的代码看看效率：若是你的程序不须要过高的效率，那就不用什么并发啊协程啊之类的东西。
print('--------------------------------') s = time.time() requests.get('https://www.python.org/') requests.get('https://www.yahoo.com/') requests.get('https://github.com/') t = time.time() print('串行时间>>',t-s)
七 Gevent之应用举例二
经过gevent实现单线程下的socket并发（from gevent import monkey;monkey.patch_all()必定要放到导入socket模块以前，不然gevent没法识别socket的阻塞）
一个网络请求里面通过多个时间延迟time
服务端
客户端
多线程并发多个客户端，去请求上面的服务端是没问题的