Python处理大数据

原由 Python处理一下数据，大概有六七个G，而后再存到另一个文件中，单线程跑起来发现太慢了，数据总量大概是千万行的级别，而后每秒钟只能处理不到20行……遂想怎么提升一下速度python 尝试1-multiprocessing 代码以下：git from multiprocessing.dummy import Pool as ThreadPool pool = ThreadPool(20)

>>阅读原文<<