Part 12.网络编程--协程简介

(一)简介python

  首先咱们得知道协程是啥?协程其实能够认为是比线程更小的执行单元。 为啥说他是一个执行单元,由于他自带CPU上下文。这样只要在合适的时机, 咱们能够把一个协程切换到另外一个协程。 只要这个过程当中保存或恢复 CPU上下文那么程序仍是能够运行的。算法

  通俗的理解:协程可当作在一个线程中的某个函数,能够在任何地方保存当前函数的一些临时变量等信息,而后切换到另一个函数中执行,注意不是经过调用函数的方式作到的,而且切换的次数以及何时再切换到原来的函数都由开发者本身肯定缓存

 

(二)区别网络

  那么这个过程看起来比线程差很少。其实否则, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操做系统为了程序运行的高效性每一个线程都有本身缓存Cache等等数据,操做系统还会帮你作这些数据的恢复操做。 因此线程的切换很是耗性能。可是协程的切换只是单纯的操做CPU的上下文,因此一秒钟切换个上百万次系统都抗的住。可是协程有一个问题,就是系统并不感知,因此操做系统不会帮你作切换。 那么谁来帮你作切换?让须要执行的协程更多的得到CPU时间才是问题的关键。框架

  目前的协程框架通常都是设计成 1:N 模式。所谓 1:N 就是一个线程做为一个容器里面放置多个协程。 那么谁来适时的切换这些协程?答案是协程本身主动让出CPU,也就是每一个协程池里面有一个调度器, 这个调度器是被动调度的。意思就是他不会主动调度。而是当一个协程发现本身执行不下去了(好比异步等待网络的数据回来,可是当前尚未数据到), 这个时候就能够由这个协程通知调度器,这个时候执行到调度器的代码,调度器根据事先设计好的调度算法找到当前最须要CPU的协程。 切换这个协程的CPU上下文把CPU的运行权交个这个协程,直到这个协程出现执行不下去须要等等的状况,或者它调用主动让出CPU的API之类,触发下一次调度。异步

 

(三)优势socket

  在IO密集型的程序中因为IO操做远远慢于CPU的操做,因此每每须要CPU去等IO操做。 同步IO下系统须要切换线程,让操做系统能够在IO过程当中执行其余的东西。 这样虽然代码是符合人类的思惟习惯可是因为大量的线程切换带来了大量的性能的浪费,尤为是IO密集型的程序。可是协程能够很好解决这个问题。好比 把一个IO操做 写成一个协程。当触发IO操做的时候就自动让出CPU给其余协程。要知道协程的切换很轻的。 协程经过这种对异步IO的封装 既保留了性能也保证了代码的容易编写和可读性。在高IO密集型的程序下很好。可是高CPU密集型的程序下没啥好处。函数

 

(四)简单实现性能

 

 1 import time
 2 
 3 def A():
 4     while True:
 5         print("----A---")
 6         yield
 7         time.sleep(0.5)
 8 
 9 def B(c):
10     while True:
11         print("----B---")
12         c.next()
13         time.sleep(0.5)
14 
15 if __name__=='__main__':
16     a = A()
17     B(a)
18 
19 
20 >>>输出:
21 --B--
22 --A--
23 --B--
24 --A--
25 --B--
26 --A--
27 。。。省略。。。

 

(五)协程-greenlet版spa

为了更好使用协程来完成多任务,python中的greenlet模块对其封装,从而使得切换任务变的更加简单。

 1 #coding=utf-8
 2 
 3 from greenlet import greenlet
 4 import time
 5 
 6 def test1():
 7     while True:
 8         print "---A--"
 9         gr2.switch()
10         time.sleep(0.5)
11 
12 def test2():
13     while True:
14         print "---B--"
15         gr1.switch()
16         time.sleep(0.5)
17 
18 gr1 = greenlet(test1)
19 gr2 = greenlet(test2)
20 
21 #切换到gr1中运行
22 gr1.switch()

 

(六)协程-gevent版

greenlet已经实现了协程,可是这个还的人工切换,是否是以为太麻烦了,不要捉急,python还有一个比greenlet更强大的而且可以自动切换任务的模块 gevent

其原理是当一个greenlet遇到IO(指的是input output 输入输出,好比网络、文件操做等)操做时,好比访问网络,就自动切换到其余的greenlet,等到IO操做完成,再在适当的时候切换回来继续执行。

因为IO操做很是耗时,常常使程序处于等待状态,有了gevent为咱们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

 1 import sys
 2 import time
 3 import gevent
 4 
 5 from gevent import socket,monkey
 6 monkey.patch_all()
 7 
 8 def handle_request(conn):
 9     while True:
10         data = conn.recv(1024)
11         if not data:
12             conn.close()
13             break
14         print("recv:", data)
15         conn.send(data)
16 
17 
18 def server(port):
19     s = socket.socket()
20     s.bind(('', port))
21     s.listen(5)
22     while True:
23         cli, addr = s.accept()
24         gevent.spawn(handle_request, cli)
25 
26 if __name__ == '__main__':
27     server(7788)
相关文章
相关标签/搜索