几种开源网络爬虫的简单比较

       爬虫里面作的最好的确定是google ，不过google公布的蜘蛛是很早的一个版本，下面是几种开源的网络爬虫的简单对比表：html       还有其余的一些好比Ubicrawler、FAST Crawler、天网蜘蛛等等没有添加进来。算法      以后主要研究下larbin爬虫，若是有可能会给它添加一个删除功能，由于其排重部分用的是bloom filter算法，这个算法的有点很明

>>阅读原文<<