Python Day 36 线程队列、线程事件Event、协程、Gevent 模块实现单线程并发

　　##内容回顾

#一、什么是GIL
全局解释器锁，本质就是一把互斥锁，是加到解释器身上的，每个python进程内都有这么一把锁

#二、有了GIL会对单进程下的多个线程形成什么样的影响
多线程要想执行，首先须要争抢GIL，对全部待执行的线程来讲，GIL就至关于执行权限，同一时刻只有一个线程争抢成功，即单进程下的多个线程同一时刻只有一个在运行
意味着单进程下的多线程没有并行的效果，可是有并发的效果

ps:分散于不一样进程内的线程不会去争抢同一把GIL，只有同一个进程的多个线程才争抢同一把GIL
#三、为何要有GIL
python解释器的内存管理机制不是线程安全的
#四、GIL与自定义互斥锁的区别，多个线程争抢GIL与自定义互斥锁的过程分析
相同：
    都是互斥锁
不一样点：
    GIL是加到解释器上的，做用于全局
    自定义互斥锁做用于局部

    单进程内的全部线程都会去抢GIL
                单进程内的只有一部分线程会去抢自定义的互斥锁
        5、何时用python的多线程，何时用多进程，为何？
            单进程下的多个线程是没法并行，没法并行意味着不能利用多核优点

            cpu干的计算的活，多个cpu意味提高了计算性能，
            cpu是没法作IO操做，多个cpu在IO操做面前毫无用处

            当咱们的程序是IO密集型的状况下，多核对性能的提高微不足道，此时可使用python的多线程
            当咱们的程序是计算密集型的状况下，必定要用上多核优点，此时可使用python的多进程
    2、进程池与线程池
        1、池的用途，为什么要用它
            池：装固定数目的东西，东西指的是进程或者线程，让机器在本身可承受的范围内去保证一个高效的工做

　　##本身如何直接使用Thread的话 如何完成回调案例

"""
#回调函数：直接使用add_done_callback方法直接调用就好

在线程池/进程池
每次提交任务 都会返回一个表示任务的对象 Future对象
Future对象具有一个绑定方法  add_done_callback 用于指定回调函数
add 意味着能够添加多个回调函数

#使用线程Thread 自定义一个回调函数
"""


from threading import Thread

import time

# res = None


def call_back(res):
    print("任务结果拿到了:%s" % res)

def parser(res):
    print("任务结果拿到了:%s" % res)

def task(callback):
    # global res
    print("run")
    time.sleep(1)
    #     # return 100
    res = 100 # 表示任务结果
    callback(res) # 执行回调函数 并传入任务结果



t = Thread(target=task,args=(parser,))
t.start()
# t.join()
# print(res)
print("over")

　　##线程队列

#1.Queue 先进先出队列

与多进程中的Queue使用方式彻底相同，区别仅仅是不能被多进程共享。

from queue import Queue,LifoQueue,PriorityQueue

# q = Queue()
#
# q.put("123")
# q.put("456")
#
# print(q.get())
# print(q.get())
#
# # print(q.get(block=True,timeout=3))
# q.task_done()
# q.task_done()
# q.join()
# print("over")

#2.LifoQueue 后进先出队列

该队列能够模拟堆栈，实现先进后出，后进先出

# 除顺序之外别的都同样
# lq = LifoQueue()
#
# lq.put("123")
# lq.put("456")
#
# print(lq.get())
# print(lq.get())

#3.PriorityQueue 优先级队列

该队列能够为每一个元素指定一个优先级，这个优先级能够是数字，字符串或其余类型，可是必须是能够比较大小的类型，取出数据时会按照从小到大的顺序取出

pq = PriorityQueue()
# 数字优先级
pq.put((10,"a"))
pq.put((11,"a"))
pq.put((-11111,"a"))

print(pq.get())
print(pq.get())
print(pq.get())
# 字符串优先级
pq.put(("b","a"))
pq.put(("c","a"))
pq.put(("a","a"))

print(pq.get())
print(pq.get())
print(pq.get())

#优先级：对象比较
class A(object):
    def __init__(self,age):
        self.age = age

    # def __lt__(self, other):
    #     return self.age < other.age
    #
    # def __gt__(self, other):
    #     return self.age > other.age

    def __eq__(self, other):
        return self.age == other.age

a1 = A(50)
a2 = A(50)



print(a1 == a2)

# print(a1 is a1)


# pq = PriorityQueue()
# pq.put("a")
# pq.put("A")
# pq.put("C")
#
#



# print(pq.get())

 　　##线程事件Event

### 一、什么是事件

事件表示在某个时间发生了某个事情的通知信号，用于线程间协同工做。

由于不一样线程之间是独立运行的状态不可预测，因此一个线程与另外一个线程间的数据是不一样步的，当一个线程须要利用另外一个线程的状态来肯定本身的下一步操做时，就必须保持线程间数据的同步，Event就能够实现线程间同步

###二、 Event介绍

Event象包含一个可由线程设置的信号标志,它容许线程等待某些事件的发生。在 初始状况下,Event对象中的信号标志被设置为假。若是有线程等待一个Event对象, 而这个Event对象的标志为假,那么这个线程将会被一直阻塞直至该标志为真。一个线程若是将一个Event对象的信号标志设置为真,它将唤醒全部等待这个Event对象的线程。若是一个线程等待一个已经被设置为真的Event对象,那么它将忽略这个事件, 继续执行

###三、可用方法：
event.isSet()：返回event的状态值；
event.wait()：将阻塞线程；知道event的状态为True
event.set()： 设置event的状态值为True，全部阻塞池的线程激活进入就绪状态， 等待操做系统调度；
event.clear()：恢复event的状态值为False。

###四、使用案例
#4-1 在连接mysql服务器前必须保证mysql已经启动，而启动须要花费一些时间，因此客户端不能当即发起连接 须要等待msyql启动完成后当即发起连接
from threading import Event,Thread
import time

boot = False
def start():
    global boot
    print("正正在启动服务器.....")
    time.sleep(5)
    print("服务器启动完成!")
    boot = True
    
def connect():
    while True:
        if boot:
            print("连接成功")
            break
        else:
            print("连接失败")
        time.sleep(1)

Thread(target=start).start()
Thread(target=connect).start()
Thread(target=connect).start()


#4-2使用Event改造后：
“”“
from threading import Event,Thread
import time

e = Event()
def start():
    global boot
    print("正正在启动服务器.....")
    time.sleep(3)
    print("服务器启动完成!")
    e.set()

def connect():
    e.wait()
    print("连接成功")
    
Thread(target=start).start()
Thread(target=connect).start()
Thread(target=connect).start()

”“”
#4-3增长需求，每次尝试连接等待1秒，尝试次数为3次
“”“
from threading import Event,Thread
import time

e = Event()
def start():
    global boot
    print("正正在启动服务器.....")
    time.sleep(5)
    print("服务器启动完成!")
    e.set()

def connect():
    for i in range(1,4):
        print("第%s次尝试连接" % i)
        e.wait(1)
        if e.isSet():
            print("连接成功")
            break
        else:
            print("第%s次连接失败" % i)
    else:
        print("服务器未启动!")

Thread(target=start).start()
Thread(target=connect).start()
# Thread(target=connect).start()
”“”

　　##协程

###协程理论基础###
###一、什么是协程
协程：本质是单线程实现并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序本身控制调度的。

###二、为何使用协程，如何可以实现并发呢
在Cpython多线程没法并行执行，在IO密集任务中，而且并发量较大，没法开启更多的线程时，形成后续的任务没法处理，即便前面都在等待IO

协程就可使用单线程实现并发，当某一个任务处于IO阻塞时，就能够切换到其余的任务来执行

并发 = 切换任务+保存状态，只要找到一种方案，可以在两个任务之间切换执行而且保存状态，那就能够实现单线程并发

python中的生成器就具有这样一个特色，每次调用next都会回到生成器函数中执行代码，这意味着任务之间能够切换，而且是基于上一次运行的结果，这意味着生成器会自动保存执行状态！

###三、对比操做系统控制线程的切换，用户在单线程内控制协程的切换
1. python的线程属于内核级别的，即由操做系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其余线程运行）
2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操做系统）控制切换，以此来提高效率（！！！非io操做的切换与效率无关）

###四、优缺点
#优势：
1. 协程的切换开销更小，属于程序级别的切换，操做系统彻底感知不到，于是更加轻量级
2. 单线程内就能够实现并发的效果，最大限度地利用cpu时间片，能够占用CPU直到超时
#缺点：
1. 协程的本质是单线程下，没法利用多核，能够是一个程序开启多个进程，每一个进程内开启多个线程，每一个线程内开启协程
2. 协程指的是单个线程，于是一旦协程出现阻塞，将会阻塞整个线程

###五、总结协程特色：
必须在只有一个单线程里实现并发
修改共享数据不需加锁
用户程序里本身保存多个控制流的上下文栈
附加：一个协程遇到IO操做自动切换到其它协程（如何实现检测IO，yield、greenlet都没法实现，就用到了gevent模块（select机制））

###六、yiled实现并发效果
# 使用生成器来实现 单线 并发多个任务
import time
def func1():
    a = 1
    for i in range(10000000):
        a += 1
        print("a run")
        time.sleep(10)
        yield

def func2():
    res = func1()
    a = 1
    for i in range(10000000):
        a += 1
        print("b run")
        next(res)

st = time.time()
func2()
print(time.time() - st)

### 单线程下串行执行两个计算任务 效率反而比并发高 由于并发须要切换和保存

# def func1():
#     a = 1
#     for i in range(10000000):
#         a += 1
#
#
# def func2():
#     a = 1
#     for i in range(10000000):
#         a += 1
#
#
# st = time.time()
# func1()
# func2()
# print(time.time() - st)


###七、greentlet模块实现并发
“”“
使用yield来切换是的代码结构很是混乱，若是十个任务须要切换呢，不敢想象！所以就有人专门对yield进行了封装，这便有了greenlet模块该模块简化了yield复杂的代码结构，实现了单线程下多任务并发，可是不管直接使用yield仍是greenlet都不能检测IO操做，遇到IO时一样进入阻塞状态，因此此时的并发是没有任何意义的。

如今咱们须要一种方案 便可检测IO 又可以实现单线程并发，因而gevent闪亮登场
”“”
def task1(name):
    print("%s task1 run1" % name)
    g2.switch(name) # 切换至任务2
    print("task1 run2") 
    g2.switch() # 切换至任务2

def task2(name):
    print("%s task2 run1" % name)
    g1.switch() # 切换至任务1
    print("task2 run2")

g1 = greenlet.greenlet(task1)
g2 = greenlet.greenlet(task2)
g1.switch("jerry") # 为任务传参数

###八、Gevent 模块实现单线程并发
“”“
#8-1 Gevent模块的介绍
Gevent 是一个第三方库，能够轻松经过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet所有运行在主程序操做系统进程的内部，但它们被协做式地调度。

#8-2Gevent模块的用法
#用法
g1=gevent.spawn(func,1,,2,3,x=4,y=5)建立一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面能够有多个参数，能够是位置实参或关键字实参，都是传给函数eat的

g2=gevent.spawn(func2)

g1.join() #等待g1结束

g2.join() #等待g2结束

#或者上述两步合做一步：gevent.joinall([g1,g2])

g1.value#拿到func1的返回值

#8-3 Gevent模块默认不识别IO阻塞的如（time.sleep(3)），只能默认是识别自身的gevent.sleep(2),咱们就引入了猴子补丁用法

import gevent
def eat(name):
    print('%s eat 1' %name)
    gevent.sleep(2)
    print('%s eat 2' %name)

def play(name):
    print('%s play 1' %name)
    gevent.sleep(1)
    print('%s play 2' %name)


g1=gevent.spawn(eat,'egon')
g2=gevent.spawn(play,name='egon')
g1.join()
g2.join()
#或者gevent.joinall([g1,g2])
print('主')

###8-4 Gevent模块：猴子补丁，就能够识别IO阻塞，注意：猴子补丁语句只能放在文件开头，咱们能够用threading.current_thread().getName()来查看每一个g1和g2，查看的结果为DummyThread-n，即假线程

#总结
1.若是主线程结束了 协程任务也会当即结束。

2.monkey补丁的原理是把原始的阻塞方法替换为修改后的非阻塞方法，即偷梁换柱，来实现IO自动切换

​    必须在打补丁后再使用相应的功能，避免忘记，建议写在最上方

##8-4 示例一
# gevent 不具有检测IO的能力  须要为它打补丁  打上补丁以后就能检测IO
# 注意补丁必定打在最上面    必须保证导入模块前就打好补丁
from gevent import monkey;monkey.patch_all()
import gevent
from threading import current_thread
import time


def task1():
    print(current_thread(),1)
    print("task1 run")
    # gevent.sleep(3)
    time.sleep(3)
    print("task1 over")

def task2():
    print(current_thread(),2)
    print("task2 run")
    print("task2 over")

# spawn 用于建立一个协程任务
g1 = gevent.spawn(task1)
g2 = gevent.spawn(task2)

# 任务要执行,必须保证主线程没挂  由于全部协程任务都是主线在执行   ,必须调用join来等待协程任务
# g1.join()
# g2.join()
# 理论上等待执行时间最长的任务就行 , 可是不清楚谁的时间长 能够所有join

gevent.joinall([g1,g2])
print("over")

##8-4 示例二
import gevent,sys
from gevent import monkey # 导入monkey补丁
monkey.patch_all() # 打补丁 
import time

print(sys.path)

def task1():
    print("task1 run")
    # gevent.sleep(3)
    time.sleep(3)
    print("task1 over")

def task2():
    print("task2 run")
    # gevent.sleep(1)
    time.sleep(1)
    print("task2 over")

g1 = gevent.spawn(task1)
g2 = gevent.spawn(task2)
#gevent.joinall([g1,g2])
g1.join()
g2.join()
# 执行以上代码会发现不会输出任何消息
# 这是由于协程任务都是以异步方式提交，因此主线程会继续往下执行，而一旦执行完最后一行主线程也就结束了，
# 致使了协程任务没有来的及执行，因此这时候必须join来让主线程等待协程任务执行完毕   也就是让主线程保持存活
# 后续在使用协程时也须要保证主线程一直存活，若是主线程不会结束也就意味着不须要调用join
”“”#####最终的解决方案多进程+单线程+ 协程面试问题:如何是实现高并发？答：先分析是什么任务，若是是计算密集型，开多进程，那为何开多进程，由于Cpython存在GIL锁，集群（全部服务器干的都是一件事）或者分布式（每一个服务器就干一种活）