程序员必备的10大健康装备！——我们要工作更要健康！

爬虫里面做的最好的肯定是google ，不过google公布的蜘蛛是很早的一个版本，下面是几种开源的网络爬虫的简单对比表：       还有其他的一些比如Ubicrawler、FAST Crawler、天网蜘蛛等等没有添加进来。      之后主要研究下larbin爬虫，如果有可能会给它添加一个删除功能，因为其排重部分用的是bloom filter算法，这个算法的有点很明显，对大规模数据的处理很快

>>阅读原文<<