基于JMS的分布式爬虫系统的设计与实现

摘要 随着互联网技术的飞速发展，网络信息以指数型趋势高速增长。对于一个要对数据进行统计分析的系统而言，搜集数据的过程是冗长枯燥的。基于这一现实，分布式爬虫系统获得了发展的契机。系统通过多台服务器的协调运行，成倍地提高了爬虫的效率。当然，分布式系统在获得效率提升的同时也大大增加了系统的复杂程度，开发人员需要考虑多方面因素以确保系统的正常运转。 本文对分布式爬虫系统的架构做了深入的讨论，给出了选择该架

>>阅读原文<<