python多进程并发之multiprocessing

时间 2019-11-10

标签 python 进程并发 multiprocessing 栏目 Python 繁體版

原文原文链接

Python并发之多进程 -- multiprocessing

multiprocessing包是Python中的多进程管理包。它与 threading.Thread相似，能够利用multiprocessing.Process对象来建立一个进程。该进程能够容许放在Python程序内部编写的函数中。该Process对象与Thread对象的用法相同. 方法有:html

is_alive()

join([timeout])

run()

start()

terminate() 属性有:

authkey

daemon（要经过start()设置）

exitcode(进程在运行时为None、若是为–N，表示被信号N结束）

name

pid

此外multiprocessing包中也有Lock/Event/Semaphore/Condition类，用来同步进程，其用法也与threading包中的同名类同样。multiprocessing的很大一部份与threading使用同一套API，只不过换到了多进程的情境。python

这个模块表示像线程同样管理进程，这个是multiprocessing的核心，它与threading很类似，对多核CPU的利用率会比threading好的多。python3.x

看一下Process类的构造方法：并发

__init__(self, group=None, target=None, name=None, args=(), kwargs={})

参数说明：app

group：进程所属组。基本不用
target：表示调用对象。
args：表示调用对象的位置参数元组。
name：别名
kwargs：表示调用对象的字典。

建立进程的简单实例：异步

import requests
from multiprocessing import Process

urls = [
    "http://www.python.org",
    "http://www.python.org/about/",
    "http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html",
    "http://www.python.org/doc/",
    "http://www.python.org/download/",
    "http://www.python.org/getit/",
    "http://www.python.org/community/",
    "https://wiki.python.org/moin/",
]


def get_status_code(url):
    resp = requests.get(url)
    print("url:{}\ncode:{}\n{}".format(url, resp.status_code, "-" * 100))


if __name__ == "__main__":
    for url in urls:
        p = Process(target=get_status_code, args=(url,))
        p.start()
    p.join()

执行结果:async

url:http://www.python.org
code:200
------------------------------------------------------------------------------
url:http://www.python.org/about/
code:200
------------------------------------------------------------------------------
url:http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html
code:200
------------------------------------------------------------------------------
url:http://www.python.org/doc/
code:200
------------------------------------------------------------------------------
url:http://www.python.org/download/
code:200
------------------------------------------------------------------------------
url:http://www.python.org/getit/
code:200
------------------------------------------------------------------------------
url:http://www.python.org/community/
code:200
------------------------------------------------------------------------------
url:https://wiki.python.org/moin/
code:200

建立子进程时，只须要传入一个执行函数和函数的参数，建立一个Process实例，并用其start()方法启动，join()方法表示等待子进程结束之后再继续往下运行，一般用于进程间的同步。注意：在Windows上要想使用进程模块，就必须把有关进程的代码写在当前.py文件的if name == ‘main’ :语句的下面，才能正常使用Windows下的进程模块。Unix/Linux下则不须要。函数

multiprocess.Pool

当被操做对象数目不大时，能够直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但若是是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，此时能够发挥进程池的功效。url

Pool能够提供指定数量的进程供用户调用，当有新的请求提交到pool中时，若是池尚未满，那么就会建立一个新的进程用来执行该请求；但若是池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会建立新的进程来它。.net

apply_async和apply 函数原型：

apply_async(func[, args=()[, kwds={}[, callback=None]]])

两者都是向进程池中添加新的进程，不一样的时，apply每次添加新的进程时，主进程和新的进程会并行执行，可是主进程会阻塞，直到新进程的函数执行结束。这是很低效的，因此python3.x以后再也不使用 apply_async和apply功能相同，可是主进程不会阻塞。

import requests
from multiprocessing import Pool

urls = [
    "http://www.python.org",
    "http://www.python.org/about/",
    "http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html",
    "http://www.python.org/doc/",
    "http://www.python.org/download/",
    "http://www.python.org/getit/",
    "http://www.python.org/community/",
    "https://wiki.python.org/moin/",
]


def get_status_code(url):
    resp = requests.get(url)
    print("url:{}\ncode:{}\n{}".format(url, resp.status_code, "-" * 100))


if __name__ == "__main__":
    # 维持执行的进程总数为processes，当一个进程执行完毕后会添加新的进程进去
    p = Pool()
    for url in urls:
        # 异步开启进程, 非阻塞型, 可以向池中添加进程而不等待其执行完毕就能再次执行循环
        p.apply_async(func=get_status_code, args=(url,))
    print("Waiting for all subprocesses done...")
    p.close()  # 关闭pool, 则不会有新的进程添加进去
    p.join()    # 必须在join以前close, 而后join等待pool中全部的线程执行完毕
    print('All subprocesses done.')

运行结果:

Waiting for all subprocesses done...
url:http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html
code:200
------------------------------------------------------------------------------
url:http://www.python.org/doc/
code:200
----------------------------------------------------------------------------------------------------
url:http://www.python.org/about/
code:200
------------------------------------------------------------------------------
url:http://www.python.org
code:200
------------------------------------------------------------------------------
url:https://wiki.python.org/moin/
code:200
------------------------------------------------------------------------------
url:http://www.python.org/download/
code:200
------------------------------------------------------------------------------
url:http://www.python.org/community/
code:200
------------------------------------------------------------------------------
url:http://www.python.org/getit/
code:200
------------------------------------------------------------------------------
All subprocesses done.

其余资料

http://blog.csdn.net/GVFDBDF/article/details/53584299 https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/0013868323401155ceb3db1e2044f80b974b469eb06cb43000