python爬虫——多线程+协程（threading+gevent）

上一篇博客中我介绍了如何将爬虫改造为多进程爬虫，可是这种方法对爬虫效率的提高不是很是明显，并且占用电脑cpu较高，不是很是适用于爬虫。这篇博客中，我将介绍在爬虫中普遍运用的多线程+协程的解决方案，亲测可提升效率至少十倍以上。 本文既然提到了线程和协程，我以为有必要在此对进程、线程、协程作一个简单的对比，了解这三个程之间的区别。 如下摘自这篇文章：http://www.cnblogs.com/guo

>>阅读原文<<