【Python爬虫4】并发并行下载

文章目录 1一百万个网站 1.1用普通方法解析Alexa列表 1.2复用爬虫代码解析Alexa列表 2串行爬虫 3并发并行爬虫 3.0并发并行工做原理 3.1多线程爬虫 3.2多进程爬虫 4性能对比 这篇将介绍使用多线程和多进程这两种方式并发并行下载网页，并将它们与串行下载的性能进行比较。 1一百万个网站 亚马逊子公司Alexa提供了最受欢迎的100万个网站列表（http://www.alexa.

>>阅读原文<<