Yarn(MapReduce V2)

这里我们先说一下MapReduce V1的局限性: JobTracker单点瓶颈。MapReduce中的JobTracker负责作业的分发、管理和调度,同时还必须和集群中所有的节点保持Heartbeat通信,了解机器的运行状态和资源情况。很明显,MapReduce中独一无二的JobTracker负责了太多的任务,如果集群的数量和提交Job的数量不断增加,那么JobTracker的任务量也会随之快速
相关文章
相关标签/搜索