Scrapy - 分布式爬虫

分布式爬虫 概念 所谓分布式, 多个程序同时对一个任务进行操作 一分多的高效率的任务进行方式 简单说明 一个 10GB 的爬虫任务, 交给10台服务器进行同时爬取 对比单服务器无论怎么优化都是 10倍的效率, 但是成本高 需要硬件环境支持 ( 带宽, 服务器设备等 ) 多态主机共享一个爬取队列即为分布式爬虫 物理拓扑  / -------------服务器 2 |　/ --------------

>>阅读原文<<