大数据分析系统Hadoop的13个开源工具！

hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最先版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

　　用户能够在不了解分布式底层细节的状况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工做方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。

　　所以，各类基于Hadoop的工具应运而生，本次为你们分享Hadoop生态系统中最经常使用的13个开源工具，其中包括资源调度、流计算及各类业务针对应用场景。首先，咱们看资源管理相关。

　　资源统一管理/调度系统

　　在公司和机构中，服务器每每会由于业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，好比支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的Spark及流处理框架S4，它们诞生于不一样的实验室，并各有所长。

　　为了减小管理成本，提高资源的利用率，一个共同的想法产生——让这些框架运行在同一个集群上;所以，就有了当下众多的资源统一管理/调度系统，本次为你们重点介绍ApacheMesos及YARN：

　　一、ApacheMesos

　　代码托管地址：ApacheSVN

　　Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。

　　Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用LinuxContainers来隔离任务，支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态。

　　二、HadoopYARN

　　代码托管地址：ApacheSVN

　　YARN又被称为MapReduce2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，可是目前还没有成熟，仅仅提供Java虚拟机内存的隔离。

　　对比MapReduce1.x，YARN架构在客户端上并未作太大的改变，在调用API及接口上还保持大部分的兼容，然而在YARN中，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一个中心的服务，负责调度、启动每个Job所属的ApplicationMaster，另外还监控ApplicationMaster的存在状况;NodeManager负责Container状态的维护，并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的全部工做，相似老的框架中JobTracker。

　　Hadoop上的实时解决方案

　　前面咱们有说过，在互联网公司中基于业务逻辑需求，企业每每会采用多种计算框架，好比从事搜索业务的公司：网页索引创建用MapReduce，天然语言处理用Spark等。