Python 进程间的通讯

#-*-coding:utf-8-*-
'''python提供了多种进程间的通讯方式，如：Queue，Pipe，Valie+Array等。
    Queue与Pipe的区别在于Pipe经常使用来在两个进程间通讯，Queue用来在多个进程间通讯
    Queue：
        Put：用于插入数据到队列中（blocked，timeoutl两个可选参数，若是blocked为True（默认值）
                        而且timeout为正值，该方法会阻塞timeout指定时间，指导队列有剩余空间，若是超时，会抛出Queue.Full异常，
                        若是blocked为False，但Queue已满，会当即抛出Queue.Full异常）
        Get：从队列读取并删除一个元素（blcoked，timeout两个可选参数，若是blocked为True（默认值）而且timeout为正值
        name在等待时间内没有取到任何元素，会抛出Queue.Empty异常。若是blocked为False，则分为两种状况：
                        若是Queue有一个值可用，则当即返回该值；不然若是队列为空，则当即抛出Queue.Empty异常）
'''
#例子：在父进程中建立三个子进程，两个资金长王Queue中写入数据一个进程从Queue中读取数据
# from multiprocessing import Process,Queue
# import os,time,random
#
# #写数据进程执行的代码：
# def proc_write(q,urls):
#     print('Process(%s) is writing...'%os.getcwd())
#     for url in urls:
#         q.put(url)
#         print('Put %s to queue...'%url)
#         time.sleep(random.random())
# #读数据进程执行的代码：
# def proc_read(q):
#     print('Process(%s) is reading...'%os.getpid())
#     while True:
#         url=q.get(True)
#         print('get %s from queue.'%url)
# if __name__=="__main__":
#     #父进程建立Queue，并传递给各个子进程
#     q=Queue()
#     proc_write1=Process(target=proc_write,args=(q,['url_1','url_2','url_3']))
#     proc_write2=Process(target=proc_write,args=(q,['url_4','url_5','url_6']))
#     proc_reader=Process(target=proc_read,args=(q,))
#     #启动子进程proc_writer写入
#     proc_write1.start()
#     proc_write2.start()
#     #启动子进程proc_reader读取
#     proc_reader.start()
#     #等待proc_writer结束：
#     proc_write1.join()
#     proc_write2.join()
#     #proc_reader进程里是死循环没法等待其结束，只能强行终止
#     
from multiprocessing import Pipe
'''Pipe经常使用在两个进程间进行通讯，两个进程分别位于进程两端，Pipe方法返回（conn1,conn2)表明一个
管道的两端。Pipe方法有duplex参数，若是duplex为True（默认值）name这个管道是全双工模式，也就是说
conn1和conn2都可以收发，若是duplex为False，conn1只负责接收消息，conn2只负责发送消息。send
和recv方法分别是发送和接收消息的方法'''
    #建立两个进程，一个进程经过Pipe发送数据一个进程经过Pipe接收数据
import multiprocessing
import random
import time,os
def proc_send(pipe,urls):
    for url in urls:
        print("Process(%s) send: %s" %(os.getpid(),url))
        pipe.send(url)
        time.sleep(random.random())
def proc_recv(pipe):
    while True:
        print("Process(%s) rev:%s"%(os.getpid,pipe.recv()))
        time.sleep(random.random())
if __name__=="__main__":
    pipe=multiprocessing.Pipe()
    p1=multiprocessing.Process(target=proc_send,args=(pipe[0],['url_'+str(i) for i in range(10)]))
    p2=multiprocessing.Process(target=proc_recv,args=(pipe[1],))
    p1.start()
    p2.start()
    p1.join()
    p2.join()

 

    
    摘自《Python爬虫开发与项目实战》