深入学习Heritrix---解析Frontier(链接工厂)（转）

深入学习Heritrix---解析Frontier(链接工厂) Frontier是Heritrix最核心的组成部分之一,也是最复杂的组成部分.它主要功能是为处理链接的线程提供URL,并负责链接处理完成后的一些后续调度操作.并且为了提高效率,它在内部使用了Berkeley DB.本节将对它的内部机理进行详细解剖. 在Heritrix的官方文档上有一个Frontier的例子,虽然很简单,但是它却解释F

>>阅读原文<<