基于广域网的主从分布式爬虫系统

目的：构造基于广域网的主从分布式爬虫系统，以asp300网站为例，主机用来爬取任务地址，从机在每次任务完成会向主机发送任务请求，由主机分配任务。html 原理：python 整个爬虫系统分为两块，一块是主机，一块是从机，从机数量不限，视主机的瓶颈压力而定！主机通常只用一台，但若是性能不够或者达到性能瓶颈，那主机就成了限制整个爬虫系统的最大效率的瓶颈，这也就是所谓的“木桶效应”。cookie 如何提

>>阅读原文<<