Python爬虫之使用celery加速爬虫

  celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。关于celery的更多介绍及例子，笔者可以参考文章Python之celery的简介与使用。   本文将介绍如何使用celery来加速爬虫。   本文爬虫的例子来自文章：Python爬虫的N种姿势。这里不再过多介绍，我们的项目结构如下： 其中，app_test.py为主程序，其代码如下： from cele

>>阅读原文<<