Python 使用multiprocessing 特别耗内存

采用multiprocessing多进程进行数据计算的时候内存飚升,这整体能够说是multiprocessing的一个「bug」致使;python

大体缘由以下:进程

multiprocessing.Process 每启动一个进程都会对当前进程内存进行一次拷贝;ip

能够采用multiprocessing.Process所有声明完的时候再去加载「原始数据」,这样,fork 进程的时候内存就没有「原始数据」;内存

能够参考以下地址:io

https://stackoverflow.com/questions/14749897/python-multiprocessing-memory-usage多进程

相关文章
相关标签/搜索