Nutch加Hadoop集群搭建

1、Apache Nutch Apache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。 1.1、Nutch的组件结构 WebDB:存储网页数据和连接信息 Fetch lists:将WebDB所存储的连接分成多个组，来用于分布式检索 Fetchers:检索Fetch list中的内容并下载到本地，共有两项输出：分别是连接的upda

>>阅读原文<<