如何构建一个分布式爬虫：理论篇

前言 本系列文章计划分三个章节进行讲述，分别是理论篇、基础篇和实战篇。理论篇主要为构建分布式爬虫而储备的理论知识，基础篇会基于理论篇的知识写一个简易的分布式爬虫，实战篇则会以微博为例，教你们作一个比较完整且足够健壮的分布式微博爬虫。经过这三篇文章，但愿你们能掌握如何构建一个分布式爬虫的方法；能触类旁通，将celery用于除爬虫外的其它场景。目前基本上的博客都是教你们使用scrapyd或者scrap

>>阅读原文<<