采用multiprocessing多进程进行数据计算的时候内存飚升,这整体能够说是multiprocessing的一个「bug」致使;python
大体缘由以下:进程
multiprocessing.Process 每启动一个进程都会对当前进程内存进行一次拷贝;ip
能够采用multiprocessing.Process所有声明完的时候再去加载「原始数据」,这样,fork 进程的时候内存就没有「原始数据」;内存
能够参考以下地址:io
https://stackoverflow.com/questions/14749897/python-multiprocessing-memory-usage多进程