[转载]heritrix 增量抓取

[转载]http://blog.csdn.net/historyasamirror/article/details/6706174   虽然打着Heritrix的名头，但本文更多的还是谈谈增量抓取的基本思想，Heritrix只是正好被用来做为例子。   如果你不是随便写个爬虫抓着玩，那么一定会碰到一个问题，就是增量抓取。不管是百度，google这样的广泛搜索引擎，还是现在很火的垂直搜索，增量抓取一

>>阅读原文<<