hadoop学习笔记1---Hadoop体系介绍

一、Namenode

HDFS的守护进程

记录文件时如何分割成数据块的，以及这些数据块被存储到哪些节点上

对内存和I/O进行集中管理

是个单点，发生故障将使集群崩溃

二、Secondary Namenode

监控HDFS状态的辅助后台程序

每一个集群都有一个

与NameNode进行通信按期保存HDFS元数据快照

当NameNode故障能够做为备用NameNode使用

三、DataNode

每台从服务器都运行一个

负责把HDFS数据块读写到本地文件系统

四、JobTracker

用于处理做业（用户提交代码）的后台程序

决定有哪些文件参与处理，而后切割task并分配节点

监控task，重启失败的task（于不一样的几点）

每一个集群只有惟一一个JobTracker，位于Master节点

五、TaskTracker

位于slave节点上，与datanode结合（代码与数据一块儿的原则）

管理各自节点上的task（由jobtracker分配）

每一个节点只有一个tasktracker，但一个tasktracker能够启动多个JVM，用于并行执行map或reduce任务

与jobtracker交互

1.六、Master和Slave

Master：Namenode、Secondary Namenode、jobtracker。浏览器（用于观看管理界面），其它Hadoop工具

Slave：Tasktracker、Datenode

Master不是惟一的