爬虫技术框架——Heritrix

Heritrix是一个由Java开发的开源Web爬虫系统，用来获取完整的、精确的站点内容的深度复制，

具备强大的可扩展性，运行开发者任意选择或扩展各个组件，实现特定的抓取逻辑。

1、Heritrix介绍

Heritrix采用了模块化的设计，用户能够在运行时选择要用的模块。它由核心类（core classes）和插件模块（pluggable modules）构成。

核心类能够配置，但不能被覆盖，插件模块能够由第三方模块取代。因此咱们就能够用实现了特定抓取逻辑的第三方模块来取代默认的插件模块，从而知足本身的抓取须要。

CrawlController（下载控制器）整个下载过程的总控制者，整个抓取工做的起点，决定整个抓取任务的开始和结束。每一个URI都有一个独立的线程，它从边界控制器（Frontier）获取新的URI，而后传递给Processor chains（处理链）通过一系列Processor（处理器）处理。

 

2、Heritrix架构

中央控制器 CrawlController 是核心组件，决定了整个抓取任务的开始与结束。

用户在 Heritrix web UI 控制台设置抓取任务后，heritrix首先构造XMLSettingsHandler对象，而后调用CrawlController的构造函数，构造一个CrawlController实例并初始化，这样，CrawlController就具有了运行条件。

此时，只需调用 requestCrawlStart()方法就能够启动线程池和Frontier，以便向线程池中工做线程提供抓取用的URL连接。

Heritrix 3.x 的框架主要分为 Engine 和 Component

 

3、一些API

 org.archive.crawler.framework.CrawlJob;

 org.archive.crawler.postprocessor.CandidatesProcessor;
 org.archive.modules.CrawlURI;

等等

抓取任务CrawlOrder类：是整个抓取工做的起点。一次抓取任务包括许多属性，创建一个任务的方式有不少种，最简单的一种就是根据默认的order.xml来配置。

中央控制器CrawlController：该类决定着抓取任务的开始和结束。它包含如下几个组件：

CrawlOrder：该类保存了order.xml的属性配置；

CrawlScope：决定当前抓取范围；

ProcessorChainList：处理器链；

Frontier：一次抓取任务须要设定一个Frontier，以此来不断为其每一个线程提供URI；

ToePool：它是一个线程池，管理了全部在当前任务中抓取过的Host名称和Server名称。

中央控制器CrawlControllr的类结构如图所示：

Frontier连接制造工厂：它表示一种为线程提供连接的工具，经过一些特定的算法来决定哪一个连接将接下来被送入处理器链中，同时，它自己也负责必定的日志和状态报告功能。

BdbFrontier类：它是用Berkeley DB 实现的，Berkeley DB 就是一个HashTable，它可以按“key/value”方式保存数据，可以为应用程序提供可伸缩的、高性能的、有事务保护功能的嵌入式数据库。

Heritrix的多线程ToeThread和ToePool：要想更快更有效地抓取网页，必须采用多线程，Heritrix则采用多线程机制，提供了一个标准的线程池ToePool，用于管理全部的抓取线程。

处理器链 Processor：包括PreProcessor、Fetcher、Extractor、Writer、PostProcessor五种。

 4、应用

做为爬虫模块，爬取数据

 

 扫个红包吧！

 

Donate捐赠

若是个人文章帮助了你，能够赞扬我 6.66 元给我支持，让我继续写出更好的内容)

   

  （微信）                                        （支付宝）

微信/支付宝 扫一扫