第6章-MapReduce的工做机制-笔记

做业的提交

能够只用一行代码来运行一个MapReduce做业：

    JobClient.runJob(conf)。

做业的调度

Hadoop做业调度演进

一、早期版本的Hadoop使用FIFO调度算法来运行做业

早期版本的Hadoop使用一种很是简单的方法来调度用户的做业：

按照做业提交的顺序，使用FIFO（先进先出）调度算法来运行做业。

二、随后，经过设置mapred.job.priority或JobClient的setJobPriority（）方法来设置优先级

三、Hadoop的调度器种类

在Hadoop中，MapReduce的调度器能够选择。

1）、默认的调度器是原始的基于队列的FIFO调度器。

2）、Fair Scheduler 公平调度器

3）、Capacity Scheduler

MapReduce的工做机制相关知识点：

一、经过调用什么代码运行一个MapReduce做业？

   JobClient.runJob(conf);

二、hadoop运行做业的整个过程图解

三、hadoop运行做业的整个过程包含几个独立的实体？

它包含如下4个独立的实体：

    1）、客户端：提交MapReduce做业。

    2）、jobtracker：协调做业的运行。

    jobtracker是一个Java应用程序，它的主类是JobTracker。

    3）、tasktracker：运行做业划分后的任务。

    tasktracker是一个Java应用程序，它的主类是TaskTracker。

    4）、分布式文件系统（通常为HDFS）

    用来在其余实体间共享做业文件。