创始人:人称Hadoop之父的Doug Cutting
,Apache软件基金会主席,是Lucene、Nutch 、Hadoop等项目的发起人。web
最开始Hadoop只是Apache Lucene的子项目Nutch的一部分。Lucene
是全球第一个开源的全文检索引擎工具包,想必作过Javaweb的搜索功能的同窗都接触过。
它有完成的查询引擎和部分文本分析引擎。Nutch
基于Lucene,并具备网页抓取和解析的功能,能够实现一个搜索引擎的开发,可是若是投入使用的话就必须在极短期内作出反应,而且可以实现短期内对亿级数量的网页进行分析处理,这就须要考虑分布式任务处理、故障恢复、负载均衡这些问题。
后来Doug Cutting 借鉴谷歌的Google File System
和MapReduce:Simplified Data Processing On Large Clusters
两篇论文,移植了其中的技术,并将其命名为:Hadoop。负载均衡
#Q: Hadoop的图标为何是一个大象呢?分布式