并发编程 (协程)

时间  2019-11-08
标签 并发 编程 繁體版
原文   原文链接

一 .协程(Coroutine)

1. 协程简介

协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是协程：协程是一种用户态的轻量级线程，即协程是由用户程序本身控制调度的。
#1. python的线程属于内核级别的，即由操做系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其余线程运行）
#2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操做系统）控制切换，以此来提高效率（！！！非io操做的切换与效率无关）
优势

1. 协程的切换开销更小，属于程序级别的切换，操做系统彻底感知不到，于是更加轻量级
#2. 单线程内就能够实现并发的效果，最大限度地利用cpu
缺点

#1. 协程的本质是单线程下，没法利用多核，能够是一个程序开启多个进程，每一个进程内开启多个线程，每一个线程内开启协程
#2. 协程指的是单个线程，于是一旦协程出现阻塞，将会阻塞整个线程
特色

必须在只有一个单线程里实现并发 修改共享数据不需加锁 用户程序里本身保存多个控制流的上下文栈 附加：一个协程遇到IO操做自动切换到其它协程（如何实现检测IO，yield、greenlet都没法实现，就用到了gevent模块（select机制））

注意：进程线程的任务是由操做系统切换完的
 协程任务之间是由程序切换 就是(本身写的代码)


协程本质就是切换多个任务之间节省一些IO操做（是一种伪线程）
由生成器引出协程

def cour():
    print(11111)
    x=yield
    print(x)

c=cour()
print(c)    #  是一个生成器函数
# <generator object cour at 0x0000027DEB9FFF68>
# 进程已结束，退出代码 0


print(***********************************************)

import  time
def cour():
  while True:
    x=yield
    time.sleep(1)
    print("处理数据",x)

def pud():
    c=cour()
    next(c)
    for i in  range(5):
        print("生产了数据",i)
        c.send(i)
pud()

生产了数据 0
处理数据 0
生产了数据 1
处理数据 1
生产了数据 2
处理数据 2
生产了数据 3
处理数据 3
生产了数据 4
处理数据 4
进程已结束，退出代码 0

 2.协程(真正的协程模块就是使用greenlet完成切换的)

from  greenlet import greenlet

def eat():
    print("开始吃饭了哈哈哈哈")
    g2.switch()   # 切换到g2执行
    print("饭吃完了哈哈哈哈")


def play():
    print("开始跑了哈哈哈啊哈")
g1=greenlet(eat)      # greenlet 表示开启协程
g2=greenlet(play)     # greenlet 表示开启协程
g1.switch()      # switch()    表示g1开始执行


# 开始吃饭了哈哈哈哈
# 开始跑了哈哈哈啊哈
# 进程已结束，退出代码 0
 
 
 注意协程本身程序调用 (就是本身写的代码调度执行) 不是由cpu或者操做系统调用
 
 
 
 
 
from  greenlet import greenlet
def eat():
    print("开始吃饭了哈哈哈哈")
    g2.switch()   # 切换到g2执行
    print("饭吃完了哈哈哈哈")
    g2.switch()  # 切换到g2执行

def play():
    print("8888888888888888")
    g1.switch()   # 切换到g1执行
    print("9999999999999999")


g1=greenlet(eat)      # greenlet 表示开启协程
g2=greenlet(play)     # greenlet 表示开启协程
g1.switch()           # switch()    表示g1开始执行
 
 
开始吃饭了哈哈哈哈
8888888888888888
饭吃完了哈哈哈哈
9999999999999999python
 
 


from  greenlet import greenlet
def eat():
    print("开始吃饭了哈哈哈哈")
    g2.switch()   # 切换到g2执行
    print("饭吃完了哈哈哈哈")
    g2.switch()  # 切换到g2执行

def play():
    print("8888888888888888")
    g1.switch()   # 切换到g1执行
    print("9999999999999999")
    g1.switch()   # 切换到g1执行

g1=greenlet(eat)      # greenlet 表示开启协程
g2=greenlet(play)     # greenlet 表示开启协程
g1.switch()           # switch()    表示g1开始执行
g2.switch()           # switch()    表示g1开始执行

开始吃饭了哈哈哈哈
8888888888888888
饭吃完了哈哈哈哈
9999999999999999
进程已结束，退出代码
 

 

 3.协程(效率比较)单纯的切换（在没有io的状况下或者没有重复开辟内存空间的操做）
 

          ，反而会下降程序的执行速度
 

 
 
按照顺序执行时间
import time
def f1():
    res=1
    for i in range(100000000):
        res+=i

def f2():
    res=1
    for i in range(100000000):
        res*=i

start=time.time()
f1()
f2()
stop=time.time()
print('run time is %s' %(stop-start)) #10.985628366470337
 

 

 
 
按照协程切换执行时间
from greenlet import greenlet
import time
def f1():
    res=1
    for i in range(100000000):
        res+=i
        g2.switch()   切换！！！！！！！！！！！！！！！！ def f2():
    res=1
    for i in range(100000000):
        res*=i
        g1.switch()  切换！！！！！！！！！！！！！

start=time.time()
g1=greenlet(f1)
g2=greenlet(f2)
g1.switch()
stop=time.time()
print('run time is %s' %(stop-start)) # 52.763017892837524

注意 这里面时间包含了切换时间 执行时间 切换时间大概4几0秒左右 执行时间大概10几秒左右
 

 

                                                            
 

4.协程Gevent(主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程)
 

 
 
g1=gevent.spawn(func,1,,2,3,x=4,y=5)建立一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面能够有多个参数，能够是位置实参或关键字实参，都是传给函数eat的

g2=gevent.spawn(func2)

g1.join() #等待g1结束

g2.join() #等待g2结束

#或者上述两步合做一步：gevent.joinall([g1,g2])

g1.value#拿到func1的返回值

用法介绍
 

 

 
 
 
 
# gevent.sleep(2)模拟的是gevent能够识别的io阻塞,
# 而time.sleep(2)或其余的阻塞,gevent是不能直接识别的须要用下面一行代码,打补丁,就能够识别了
# from gevent import monkey;monkey.patch_all()
 
 
import  gevent,time
def eat():
    print("开始吃饭了哈哈哈哈")
    gevent.sleep(1)
    # time.sleep(1)
    print("饭吃完了哈哈哈哈")

def play():
    print("8888888888888888")
    gevent.sleep(1)
    # time.sleep(1)
    print("9999999999999999")


g1=gevent.spawn(eat)      # gevent.spawn表示开启协程
g2=gevent.spawn(play)     # gevent.spawn表示开启协程
g1.join()  等待结束
g2.join()  等待结束


开始吃饭了哈哈哈哈
饭吃完了哈哈哈哈
8888888888888888
9999999999999999

进程已结束，退出代码 0
 

 

 
 
# 如time，socket模块以前 # 或者咱们干脆记忆成：要用gevent，须要将from gevent import monkey;monkey.patch_all()放到文件的开头

注意：进程线程的任务是由操做系统切换完的
 协程任务之间是由程序切换 就是(本身写的代码)只有遇到协程模块识别IO操做时候 程序才会进行切换 实现并发


import  gevent
import  time
from  gevent import monkey;monkey.patch_all()
def eat():
    print("开始吃饭了哈哈哈哈")
    time.sleep(1)
    print("饭吃完了哈哈哈哈")                               

def play():
    print("8888888888888888")
    time.sleep(1)
    print("9999999999999999")


g1=gevent.spawn(eat)      # gevent.spawn表示开启协程
g2=gevent.spawn(play)     # gevent.spawn表示开启协程
g1.join()
g2.join()
 

 

 
 
import  gevent
import  time
from  gevent import monkey;monkey.patch_all() 
import threading
def eat():
    print(threading.current_thread().getName())   DummyThread-1 DummyThread-1 表示 伪类型线程 就是伪造出来的 print("开始吃饭了哈哈哈哈")
    time.sleep(1)
    print("饭吃完了哈哈哈哈")

def play():
    print("8888888888888888")
    time.sleep(1)
    print("9999999999999999")


g1=gevent.spawn(eat)      # gevent.spawn表示开启协程
g2=gevent.spawn(play)     # gevent.spawn表示开启协程
g1.join()
g2.join()

DummyThread-1          # DummyThread-1 表示 伪类型线程 就是伪造出来的
开始吃饭了哈哈哈哈
8888888888888888
饭吃完了哈哈哈哈
9999999999999999
 

 

5. Gevent之同步与异步
 

 
 
from gevent import spawn,joinall,monkey;monkey.patch_all()

import time
def task(pid):
    """
    Some non-deterministic task
    """
    time.sleep(0.5)
    print('Task %s done' % pid)


def synchronous():  # 同步
    for i in range(10):
        task(i)

def asynchronous(): # 异步
    g_l=[spawn(task,i) for i in range(10)]
    joinall(g_l)
    print('DONE')
    
if __name__ == '__main__':
    print('Synchronous:')
    synchronous()
    print('Asynchronous:')
    asynchronous()
#  上面程序的重要部分是将task函数封装到Greenlet内部线程的gevent.spawn。
#  初始化的greenlet列表存放在数组threads中，此数组被传给gevent.joinall 函数，
#  后者阻塞当前流程，并执行全部给定的greenlet任务。执行流程只会在 全部greenlet执行完后才会继续向下走。
 

 

 6.协程的应用(用于高网络延时 和爬虫)
 

 
 
爬虫案例

# 如time，socket模块以前
# 或者咱们干脆记忆成：要用gevent，须要将from gevent import monkey;monkey.patch_all()放到文件的开头
#
from gevent import spawn, joinall, monkey;monkey.patch_all()
import gevent
import time
from  urllib.request import urlopen

def get_date(url):
    res=urlopen(url)
    cc=res.read().decode("utf-8")
    return  len(cc)
g1=gevent.spawn(get_date,"https://www.cnblogs.com/")
g2=gevent.spawn(get_date,"https://www.sina.com.cn/")
g3=gevent.spawn(get_date,"https://www.cnblogs.com/")
g4=gevent.spawn(get_date,"https://www.cnblogs.com/")
g5=gevent.spawn(get_date,"https://www.cnblogs.com/")
aa=gevent.joinall([g1,g2,g3,g4,g5])
for i in  aa:
    print(i.value)

# 41781
# 41781
# 41781
# 535821
# 41781
# 
# 进程已结束，退出代码 0
 

 

  使用协程实现socket
 

 
 
sever端 使用协程实现socket

# 如time，socket模块以前
# 或者咱们干脆记忆成：要用gevent，须要将from gevent import monkey;monkey.patch_all()放到文件的开头
from gevent import spawn, joinall, monkey;monkey.patch_all()
import gevent
import time

import socket

def msg(conn):
    while True:
        aa=conn.recv(1024).decode("utf-8")
        print(aa)
        bb=input("接收:")
        conn.send(bb.encode("utf-8"))
server=socket.socket()
server.bind(("127.0.0.1",8700))
server.listen(4)
while True:
    conn,addr=server.accept()
    g1=gevent.spawn(msg,conn)
 

 

 
 
client端 import  socket
cli=socket.socket()
cli.connect(("127.0.0.1",8700))
while True:
   aa=input("发送:")
   cli.send(aa.encode("utf-8"))
   cl= cli.recv(1024).decode("utf-8")
   print(cl)
 



        

            

        	





    

		

            
相关文章

            

                

                

                    

                

            


            
相关标签/搜索

            
        


    

        

            

        

        

        
        

        

        

    




	

    





    

    	

    

        每日一句
    

    
    
    	每一个你不满意的现在，都有一个你没有努力的曾经。
    







    

    


    



    

        本站公众号
    

    

           欢迎关注本站公众号,获取更多信息

        
    




    

    




	


	







    

        联系我们
        最近搜索
        最新文章
        
        沪ICP备13005482号-10

            MyBatis教程
            SQL 教程
            MySQL教程
            Java 教程
            Thymeleaf 教程
            Hibernate教程
            Spring教程 
            Redis教程