手把手教你搭建一个基于Java的分布式爬虫系统

在不用爬虫框架的状况下，我通过多方学习，尝试实现了一个分布式爬虫系统，而且能够将数据保存到不一样地方，相似 MySQL、HBase 等。框架 由于此系统基于面向接口的编码思想来开发，因此具备必定的扩展性，有兴趣的朋友直接看一下代码，就能理解其设计思想。异步 虽然代码目前来讲不少地方仍是比较紧耦合，但只要花些时间和精力，不少都是可抽取出来而且可配置化的。分布式 由于时间的关系，我只写了京东和苏宁易购

>>阅读原文<<