1、启动,按启动顺序执行命令。若是须要关闭集群,则按反顺序执行便可。
node
1.若是使用hdfs HA,需先启动zookeeper集群,具体请查看zookeeper的相关命令。bootstrap
2.若是使用hdfs HA,需格式化zookeeper集群,oop
整个hdfs集群只需第一次启动时执行一次,spa
整个hdfs集群只需第一次启动时执行一次,orm
整个hdfs集群只需第一次启动时执行一次,server
命令以下:hadoop
bin/hdfs zkfc -formatZKci
说明:在ZK集群中创建一个目录,用于保存集群中NameNode的状态数据,不通的集群须要在集群中的随意一台namenode中执行此操做,操做完以后在zookeeper中会创建目录/hadoop-ha/cluster1,通常首次执行便可。部署
3.若是使用journal集群作HA,需启动journal集群,在journal集群每一个节点执行以下命令:it
sbin/hadoop-daemon.sh start journalnode
4.格式化HDFS
整个hdfs集群只需第一次启动时执行一次,
整个hdfs集群只需第一次启动时执行一次,
整个hdfs集群只需第一次启动时执行一次,
hdfs HA,在任一namenode节点上执行以下命令:
hdfs namenode -format -clusterId cluster1
说明:格式化hdfs集群cluster1,若是有多个集群,每一个集群都格式化一遍,随便选择集群中的一个namenode便可。格式化以后在journal下就会有一个集群名字的文件夹存namenode的数据。
非hdfs HA,在namenode节点上执行以下命令:
hdfs namenode -format
5.启动hdfs集群
hdfs HA
在namenode1上执行,启动namenode:sbin/hadoop-daemon.sh start namenode
在namenode2上copy namenode1的数据,整个hdfs集群只需第一次启动时执行一次:bin/hdfs namenode -bootstrapStandby
在每台datanode节点启动datanode:sbin/hadoop-daemon.sh start datanode
在namenode2上执行,启动namenode:sbin/hadoop-daemon.sh start namenode
在每台namenode节点启动namenode的zkfc:sbin/hadoop-daemon.sh start zkfc
非hdfs HA
在namenode上启动namenode,执行:sbin/start-dfs.sh
6.启动yarn集群
yarn HA
在ResourceManger1上执行,启动ResourceManger:sbin/yarn-daemon.sh start resourcemanager
在ResourceManger2上执行,启动ResourceManger:sbin/yarn-daemon.sh start resourcemanager
在每台NodeManager上执行,启动NodeManager:sbin/yarn-daemon.sh start nodemanager
非yarn HA
在resourcemanager上启动yarn:sbin/start-yarn.sh
7.启动jobhistoryserver,jobhistoryserver能够随便部署在哪一个节点
在jobhistoryserver节点上启动jobhistoryserver,执行:
sbin/mr-jobhistory-daemon.sh start historyserver