如何构建一个分布式爬虫：基础篇

继上篇咱们谈论了Celery的基本知识后，本篇继续讲解如何一步步使用Celery构建分布式爬虫。此次咱们抓取的对象定为celery官方文档。html 首先，咱们新建目录distributedspider，而后再在其中新建文件workers.py,里面内容以下python from celery import Celery app = Celery('crawl_task', include=['t

>>阅读原文<<