Python程序中的进程操做-进程同步(multiprocess.Lock)

目录

• 1、多进程抢占输出资源
• 2、使用锁维护执行顺序
• 3、多进程同时抢购余票
• 4、使用锁来保证数据安全

经过刚刚的学习，咱们想方设法实现了程序的异步，让多个任务能够同时在几个进程中并发处理，他们之间的运行没有顺序，一旦开启也不受咱们控制。尽管并发编程让咱们能更加充分的利用IO资源，可是也给咱们带来了新的问题：当多个进程使用同一份数据资源的时候，就会引起数据安全或顺序混乱问题。

1、多进程抢占输出资源

import os
import time
import random
from multiprocessing import Process

def work(n):
    print('%s: %s is running' %(n,os.getpid()))
    time.sleep(random.random())
    print('%s:%s is done' %(n,os.getpid()))

if __name__ == '__main__':
    for i in range(3):
        p=Process(target=work,args=(i,))
        p.start()

2、使用锁维护执行顺序

# 由并发变成了串行,牺牲了运行效率,但避免了竞争
import os
import time
import random
from multiprocessing import Process,Lock

def work(lock,n):
    lock.acquire()
    print('%s: %s is running' % (n, os.getpid()))
    time.sleep(random.random())
    print('%s: %s is done' % (n, os.getpid()))
    lock.release()
if __name__ == '__main__':
    lock=Lock()
    for i in range(3):
        p=Process(target=work,args=(lock,i))
        p.start()

上面这种状况虽然使用加锁的形式实现了顺序的执行，可是程序又从新变成串行了，这样确实会浪费了时间，却保证了数据的安全。

接下来，咱们以模拟抢票为例，来看看数据安全的重要性。

3、多进程同时抢购余票

# 文件db的内容为：{"count":1}
# 注意必定要用双引号，否则json没法识别
# 并发运行，效率高，但竞争写同一文件，数据写入错乱
from multiprocessing import Process,Lock
import time,json,random
def search():
    dic=json.load(open('db'))
    print('剩余票数%s' %dic['count'])

def get():
    dic=json.load(open('db'))
    time.sleep(0.1)  # 模拟读数据的网络延迟
    if dic['count'] >0:
        dic['count']-=1
        time.sleep(0.2)  # 模拟写数据的网络延迟
        json.dump(dic,open('db','w'))
        print('购票成功')

def task():
    search()
    get()

if __name__ == '__main__':
    for i in range(100):  # 模拟并发100个客户端抢票
        p=Process(target=task)
        p.start()

4、使用锁来保证数据安全

# 文件db的内容为：{"count":5}
# 注意必定要用双引号，否则json没法识别
# 并发运行，效率高，但竞争写同一文件，数据写入错乱
from multiprocessing import Process,Lock
import time,json,random
def search():
    dic=json.load(open('db'))
    print('剩余票数%s' %dic['count'])

def get():
    dic=json.load(open('db'))
    time.sleep(random.random())  # 模拟读数据的网络延迟
    if dic['count'] >0:
        dic['count']-=1
        time.sleep(random.random())  # 模拟写数据的网络延迟
        json.dump(dic,open('db','w'))
        print('购票成功')
    else:
        print('购票失败')

def task(lock):
    search()
    lock.acquire()
    get()
    lock.release()

if __name__ == '__main__':
    lock = Lock()
    for i in range(100):  # 模拟并发100个客户端抢票
        p=Process(target=task,args=(lock,))
        p.start()

加锁能够保证多个进程修改同一块数据时，同一时间只能有一个任务能够进行修改，即串行的修改，没错，速度是慢了，但牺牲了速度却保证了数据安全。

虽然能够用文件共享数据实现进程间通讯，但问题是：

1. 效率低（共享数据基于文件，而文件是硬盘上的数据）
2. 须要本身加锁处理

所以咱们最好找寻一种解决方案可以兼顾：

1. 效率高（多个进程共享一块内存的数据）
2. 帮咱们处理好锁问题。这就是mutiprocessing模块为咱们提供的基于消息的IPC通讯机制：队列和管道。

队列和管道都是将数据存放于内存中，队列又是基于（管道+锁）实现的，可让咱们从复杂的锁问题中解脱出来，咱们应该尽可能避免使用共享数据，尽量使用消息传递和队列，避免处理复杂的同步和锁问题，并且在进程数目增多时，每每能够得到更好的可获展性。