Python每日一记68>>>多进程爬虫与if __name__ == 'main':的重要性

咱们以前的爬虫都是单进程爬虫，也就是串行爬虫，可是在大规模的爬虫中，咱们须要多进程爬虫以加快运行速度。 下面直接使用例子进行说说明多进程爬虫，咱们爬取糗事百科的文字内容 咱们发现多进程时速度确实更快，若是是数据量更大的爬虫，结果的差距将会更加明显。在任务管理器中咱们也能够发现多进程运行时的状况。 那么代码中须要说明的部分是if name’main’: 这句代码在多进程爬虫程序，或者是python其

>>阅读原文<<