JobTracker和TaskTracker

 

JobTracker  对应于 NameNode部署

TaskTracker 对应于 DataNodeast

DataNode 和NameNode 是针对数据存放来而言的监控

JobTracker和TaskTracker是对于MapReduce执行而言的cli

mapreduce中几个主要概念,mapreduce总体上能够分为这么几条执行线索:打包

jobclient,JobTracker与TaskTracker。软件

一、JobClient会在用户端经过JobClient类将应用已经配置参数打包成jar文件存储到hdfs,配置

并把路径提交到Jobtracker,而后由JobTracker建立每个Task(即MapTask和ReduceTask)map

并将它们分发到各个TaskTracker服务中去执行通信

二、JobTracker是一个master服务,软件启动以后JobTracker接收Job,负责调度Job的每个子任务task运行于TaskTracker上,数据

并监控它们,若是发现有失败的task就从新运行它。通常状况应该把JobTracker部署在单独的机器上。

三、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通讯,接收做业,并负责直接执行每个任务。

TaskTracker都须要运行在HDFS的DataNode上

相关文章
相关标签/搜索