爬虫工具Heritrix初体验

需要找一个工具去爬取某个网站，简单调研后剩下了两个候选：Heritrix和Nutch。最后听说Heritrix可定制的地方比较多，更加灵活。恰好这是我需要的。遂决定采用Heritrix，初步尝试后发现效果不错。具体的好处在于：配置简单，有良好的web界面，不需要写一行代码。 安装 我用的版本是heritrix-1.14.4。 1．下载heritrix-1.14.4.tar.gz，并解压（假设解压后

>>阅读原文<<