python 用grequest 实现真·高并发爬虫

以前都是使用多线程来实现效率的提高，可是因为python的GIL锁的缘由，致使所谓的多线程并非多并发，而是当爬虫发出去的请求还未等到返回的间隙，继续执行别的线程，至关于交替轮流执行，是伪多并发。 而grequest库封装了gevent和requests，实现了真正的多并发请求，不过也不是说来多少并发多少，也是有边界的，因此经过size参数设置一下同时并发数。python import greque

>>阅读原文<<