Hadoop系列之 job运行机制

1. MapReduce job提交

提交过程比较简单，submit() on a  Job object， 经过waitForCompletion()等待job结束。waitForCompletion不断轮询当前job运行的进度。

2.MapReduce job运行流程

运行过程有5个关键部分参与：客户端，Yarn ResourceManager，Yarn NodeManager，MRAppMaster，HDFS，下面分别介绍。

客户端：

提交job任务

 

Yarn ResourceManager:

coordinates the allocation of compute resourceson the cluster.

整个集群只有一个

负责集群计算资源的分配与调度

处理客户端做业提交请求

启动/监控ApplicationMaster

监控NodeManager

(容错性)存在单点故障，基于ZooKeeper实现HA

Yarn NodeManager:

launch and monitor the compute containers onmachines in the cluster。

整个集群有多个，负责单节点资源管理和使用（更细一点说，是负责启动、监控和管理该计算节点上Container，防止Application Master使用多于它申请到的计算资源）

单个节点上的资源管理和任务管理(由于NodeManager负责启动和监控管理Container，而ApplicationMaster和任务在Container中运行，所以Node Manager负责对它们使用的计算资源进行管理)

处理来自ResourceManager的命令

处理来自ApplicationMaster的命令

(容错性)NodeManager失败后，RM将失败任务告诉对应的AM，AM决定如何处理失败的任务

 

MRAppMaster:管理完成job而建立的task

每一个应用有一个，负责应用程序整个生命周期的管理

分布式计算数据的切分

为应用程序向Resource Manager申请计算资源(以Container为单位,一个应用程序一般为申请跟任务数相同个数的Container)，并将Container分配给任务(实际上任务是在Container中执行的)

任务监控与容错

（容错性）失败后，由Resource Manager负责重启，Application Manager需处理内部任务的容错问题，ApplicationManager运行过程当中会保存已经运行完成的Task，重启后无需从新运行

HDFS:分布式文件系统

2.1提交job

submit建立一个JobSubmitter实例，提交任务由该实例来完成。

step1：resource manager建立一个application id---mapreduce job ID。

step2: 检查job的输出, 好比输出目录是否已经存在， 存在就上报一个错误。

step3: 为job计算input splits,这些input splits就是做为Mapper的输入。

step4:  复制运行job须要的资源到HDFS。包括job jar, 配置文件， the computed input splits

step5: 提交job经过submitApplication调用。

2.2 Job Initialization

当resource manager收到来自submitApplication的请求， 就会把请求发给YARN scheduler,scheduler会分配container，resource manager也会启动job的application master主线程。application master主线程是由node manager管理。

application master至关于一个main class为MRAppMaster的java应用。

a) 该应用会建立不少个bookkeeping对象， 来跟踪job运行的进度。application master会接收来自task的进度和完成报告。

b)application master会接收input splits

c) 为每一个input split建立一个map task对象， 并且会建立相应数目的reduce task对象（reduce task由 mapreduce.job.reduces属性决定）。

d)决策tasks push到哪些node上去运行。

e) 建立输出目录和job task 运做过程当中须要的临时输出空间。

application master会向资源管理器为全部map和reduce任务请求containers.

请求的内容：

map task的优先级会高于reduce， 直到5%的map task 完成以后，才能为reduce task请求.

reduce task能在集群的任何node上运行， 但map task有数据局部性限制。map task任务按与input split在同一个node, 同一个柜子上， 同一个机房的不一样柜子上的优先顺序分配。

包括cpu,内存等数据。

2.3 Task 执行

当resource manager's scheduler为task分配好一个container资源， application master就会联系node manager启动该container，开始执行Map任务或者Reduce任务，而后YarnChild为main class的java应用就会执行task，所以任务是在称为YarnChild进程中运行，不一样于Map Reduce 1，Yarn上每一个任务都会启动一个新的JVM进程。YarnChild在执行task以前， 会在分布式cache上找到该task须要的资源：jar file, 配置文件等。

2.4 Progress and Status Updates

Task有不少的事件计数器， 有些计数器是内置framewok中， 也有些事用户自定义的。

2.5 Job Completion

application master接收到job最后一个 task完成的通知，就修改job状态为successful.

当job轮询状态时， 获得successful状态结果， 就return waitForcompletion()函数。

当job完成后，application master和task container会清理working状态， 中间结果被清理，  OutputCommitter scommitJob()会被调用。

感兴趣能够加Java架构师群获取Java工程化、高性能及分布式、高性能、深刻浅出。高架构。性能调优、Spring，MyBatis，Netty源码分析和大数据等多个知识点高级进阶干货的直播免费学习权限 都是大牛带飞 让你少走不少的弯路的 群..号是：855801563 对了 小白勿进 最好是有开发经验

注：加群要求

一、具备工做经验的，面对目前流行的技术不知从何下手，须要突破技术瓶颈的能够加。

二、在公司待久了，过得很安逸，但跳槽时面试碰壁。须要在短期内进修、跳槽拿高薪的能够加。

三、若是没有工做经验，但基础很是扎实，对java工做机制，经常使用设计思想，经常使用java开发框架掌握熟练的，能够加。

四、以为本身很牛B，通常需求都能搞定。可是所学的知识点没有系统化，很难在技术领域继续突破的能够加。

5.阿里Java高级大牛直播讲解知识点，分享知识，多年工做经验的梳理和总结，带着你们全面、科学地创建本身的技术体系和技术认知！