heritrix入门及配置

若是须要定制，就须要在eclipse下面安装运行。安装步骤： 
1、需求文件 
    heritrix-1.41.3-src.zip 
    heritrix-1.14.3.zip 
    在http://sourceforge.net/project/showfiles.php?group_id=73833&package_id=73980能够下载 
2、准备 
    把下载的两个文件分别解压到不一样的目录中 
3、在eclipse中新建一个java appliction 
    分别把heritrix-1.14.3.zip的解压文件中的conf,webapps,lib文件夹拷到工程中 
    把heritrix-1.14.3-src.zip的解压目录下的java目录中的META-INF,org,st目录拷贝到工程目录的src目录下，把heritrix-1.14.3.zip的解压文件中的profiles,mudules,selftest目录拷贝到src目录下。 在conf/heritrix.properties中配置用户名密码 
4、工程基本搭建完成，把工程下的lib中的jar文件配置到工程中(Build Path) 
5、运行org.archive.crawler.Heritrix类，工程启动（在工程名上邮件，按刷新，src目录下的类自动加载） 
6、访问http://localhost:8080/ 


使用heritrix的一个简单例子： 
一个简单的建立执行Job的用例，该用例为抓取www.baidu.com下的网页，但子域（如 news.baidu.com）不抓取，步骤以下： 
(1) WUI的上边的导航栏选择"Jobs"，呈现的第一项是"Create New Job"，选择第四小项"With defaults"。输入项的 
  前两项Name和Description随意，Seeds很是重要：http://www.baidu.com/ 注意最后一个反斜杠必须。 
(2) 选择下边的"Modules"，进入Module配置页（Heritrix的扩展功能都是经过模块概念实现的，能够实现本身的模块完成本身想要的功能）。其中第一项 "Select Crawl Scope" 使用默认的"org.archive.crawler.deciderules.DecidingScope" 。 倒数第三项 "Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ，后添加 
"org.archive.crawler.writer.MirrorWriterProcessor"，这样执行任务的时候抓取到的页面会以镜像的方式放在本地的
  目录结构中，而不是生成ARC存档文件。 
(3) 选择"Modules"右边的"Submodules"，在第一项内容中 "crawl-order ->scope->decide-rules->rules" 删除掉其 
         中的 "acceptIfTranscluded" (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取做用域的 
         规则。不然当Http请求返回301或者302时Heritrix会去抓取其余域下的网页。 
(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面，其中主要修改两项：http-headers 下的user-agent 和 
         from，他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为本身的内容 
        （"PROJECT_URL_HERE" 要以 "http://" 开头） 
(5) 在WUI的第二行导航栏中选择最右边的"Submit job" 
(6) 在WUI的第一行导航栏中选择第一项的"Console"，点击"Start"，抓取任务正式开始，时间长短有网络情况和所抓取网站的深度有关。 

       按照如上步骤应该能够正确的执行一次网站的抓取任务，抓取页面会存放在工做目录下的mirror文件夹内。