Python多进程解决方案multiprocessing ProcessPoolExecutor

 

大多数编程语言都会有多线程和多进程的概念，至于线程和进程的概念，你们能够百度一下。

做为一门胶水语言，Python绝不意外，也能够利用多线程和多进程处理并发问题，可是多线程因为GIL的存在，起做用范围大打折扣，仅限于在IO等场景能够发挥点做用。

因此，今天要跟你们分享的是Python多进程方案，更好地利用系统多核，从而提高性能。

 

基础方案一：

利用Process新建一个子进程，在子进程执行任务。咱们

写一个循环，模拟耗时任务的执行。主进程不会等待子进程执行完，就会继续往下执行。咱们能够根据实际业务状况，开启不少这样的进程。

# encoding=utf-8
from datetime import datetime
import time
from multiprocessing import Pool, Process


def job1():
    def run():
        print('[Child][{}]'.format(datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')))

    # 模拟一个耗时任务
    counter = 0
    while counter < 5:
        run()
        time.sleep(2)
        counter += 1
    #
    print('sub process done')


if __name__ == '__main__':
    p = Process(target=job1)
    p.start()
    #
    print('main process done')

执行效果以下

 

 

 

方案二：进程池

进程池能够理解成一个队列，该队列能够容易指定数量的子进程，当队列被任务占满以后，后续新增的任务就得排队，直到旧的进程有任务执行完空余出来，才会去执行新的任务。

# encoding=utf-8
from datetime import datetime
import time
import random
from multiprocessing import Pool, Process


def job2(msg):
    def run():
        print('[Child-{}][{}]'.format(msg, datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')))

    # 模拟一个耗时任务
    time.sleep(random.randint(1, 3))
    run()


if __name__ == '__main__':
    # 进程池大小
    pool_size = 2
    # 进程池
    pool = Pool(pool_size)
    # 添加任务, 假设咱们要添加6个任务，因为进程池大小为2，每次能只有2个任务并行执行，其余任务排队
    [pool.apply_async(job2, args=(i,)) for i in range(6)]
    pool.close()
    pool.join()
    #
    print('main process done')

执行结果以下：

 

 

 

方案三：ProcessPoolExecutor

ProcessPoolExecutor是concurrent.futures里面的一个多进程解决方案，对多进程进行了一些便利的封装，用起来跟Java的ThreadPoolExecutor感受很相似。

一样，方案二的示例，咱们用ProcessPoolExecutor从新实现一次。

# encoding=utf-8
from datetime import datetime
import time
import random
from concurrent.futures import ProcessPoolExecutor, wait


def job3(msg):
    def run():
        print('[Child-{}][{}]'.format(msg, datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')))

    # 模拟一个耗时任务
    time.sleep(random.randint(1, 5))
    run()


if __name__ == '__main__':
    # 进程池大小
    pool_size = 2
    # 进程池
    pool = ProcessPoolExecutor(pool_size)
    # 添加任务, 假设咱们要添加6个任务，因为进程池大小为2，每次能只有2个任务并行执行，其余任务排队
    tasks = [pool.submit(job3, i) for i in range(6)]
    ### 等待任务执行完, 也能够设置一个timeout时间
    wait(tasks)
    #
    print('main process done')

 

 

 

结语

以上简单介绍了多进程，进程池的几种用法。固然示例的几种场景都不涉及到多进程并发变量共享的问题，这个后续会推出其余文章单独讲述。