python网络爬虫（五）:并发抓取

在进行单个爬虫抓取的时候，咱们不可能按照一次抓取一个url的方式进行网页抓取，这样效率低，也浪费了cpu的资源。目前python上面进行并发抓取的实现方式主要有如下几种：进程，线程，协程。进程不在的讨论范围以内，通常来讲，进程是用来开启多个spider，好比咱们开启了4进程，同时派发4个spider进行网络抓取，每一个spider同时抓取4个url。html 因此，咱们今天讨论的是，在单个爬虫的状

>>阅读原文<<