Python 多进程使用

进程通讯

方式1、共享内存(进程安全,效率高)

共享变量：multiprocessing.Value

共享数组：multiprocessing.Array

 

方式2、Manager对象：list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value, Array

Manager对象，相对于共享内存，更加灵活，支持Python对象，能够经过网络进行共享，可是效率低

 

进程同步

Manager对象：Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event

一、简单同步机制锁 Lock、RLock(A/B 进程同时修改一个对象，RLock支持嵌套)

二、可控制进程数量 Semaphore, BoundedSemaphore (例如链接池限制)

三、复杂同步条件变量 Condition (A/B进程能够多条件判断，交替执行)

四、事件控制 Event(A、C进程等待B进程执行某种操做以后才能执行)

 

进程池

multiprocessing.Pool

res = pool.apply_async (非阻塞)

res = pool.apply (阻塞)

res.get(timeout=2) 获取执行return的结果

 

subprocess

cmds = [‘ls’, ‘-l’]

subprocess.call(cmds, stdout=fd, stderr=fd)

返回执行后状态码

subprocess.check_call(cmds, stdout=fd, stderr=fd)

执行成功返回0，失败抛出异常

subprocess.call_output(cmds, stderr=fd)

执行成功返回标准输出，失败抛出异常

都是阻塞执行命令，标准与错误输出到文件句柄或者PIPE

 

多进程注意点：

一、不能使用Lock嵌套，会致使死锁，应该使用RLock嵌套

二、多线程/进程，随时可能发生切换，操做相同变量要加锁

三、多进程普通类型共享，能够使用共享内存Value，Array，效率高