YARN原理及其工作流程

一 YARN组成元素及其功能 RM:YARN的管理者 NM:YARN的执行者 二 YARN工作原理 首先数据上传到集群中.然后将写好的程序打成架包通过命令提交MR作业.提交到集群后由集群管理者MR开始调度分配资源.到HDFS读取数据执行MapReduce相关进程对数据进行计算 三 具体流程 第一步: Client执行main()函数中runjob();开启作业 第二步:client向RM发送作业请
相关文章
相关标签/搜索