开发一款开源爬虫框架系列（二）：设计爬虫架构

欢迎留言讨论！java    爬虫开源项目地址：http://git.oschina.net/coliza/MongooCrawlergit     既然是构建分布式爬虫架构，分布式说明爬虫能在多台机器同时运行，因此必定是多客户端的，客户端主要用于下载网页，内容会放入队列，多客户端就有可能运行在不一样的操做系统不一样的语言环境，因此咱们让它暂时支持java和scala两种依赖jvm的语言，不用区分

>>阅读原文<<