分布式爬虫（Zookeeper+Redis+Spring+WebMgic+Dubbo）

Dpider 参考网上大佬的一张分布式爬虫的架构图，对其的一个实现。因为时间比较急，所以在某些地方跟原架构图不一样（有的省去了，有的用的其他技术），但总体架构是按照这个来的。文章很棒，推荐大家看一看！ 文章如下： 分布式爬虫系统设计、实现与实战：爬取京东、苏宁易购全网手机商品数据+MySQL、HBase存储 项目地址： GitHub/gasoliner/dpider 架构图如下: 系统分为如下几部

>>阅读原文<<