Python每日一记68>>>多进程爬虫与if __name__ == 'main':的重要性

我们之前的爬虫都是单进程爬虫，也就是串行爬虫，但是在大规模的爬虫中，我们需要多进程爬虫以加快运行速度。 下面直接使用例子进行说说明多进程爬虫，我们爬取糗事百科的文字内容 我们发现多进程时速度确实更快，如果是数据量更大的爬虫，结果的差距将会更加明显。在任务管理器中我们也可以发现多进程运行时的情况。 那么代码中需要说明的部分是if name’main’: 这句代码在多进程爬虫程序，或者是python其

>>阅读原文<<