CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

时间 2019-12-01

标签 centos7 centos 安装 cdh 第七集群 hadoop 配置栏目 Tomcat 繁體版

原文原文链接

1. HDFS的HA配置

一、在HDFS的的服务中点击启动High Availability

二、设置NameService的名称

三、分配HDFS的HA所须要的角色

NameNode 主机:nn1 、nn2

JoumalNode 主机:nn1 、nn2 、dn1

四、审核更改(JournalNode的编辑目录)

五、安装必要的服务

六、安装服务过程当中的一个error

此为正常现象，先前那个单节点是有数据的，因此不会格式化，因此报错。

七、安装完成

2. HDFS中的2个经常使用命令

一、hdfs haadmin命令

[root@i-bsbhj3uw ~]# hdfs haadmin

Usage: DFSHAAdmin [-ns <nameserviceId>]

[-transitionToActive <serviceId> [--forceactive]]

[-transitionToStandby <serviceId>]

[-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]

[-getServiceState <serviceId>]

[-checkHealth <serviceId>]

[-help <command>]

二、hdfs fsck命令

[hdfs@i-bsbhj3uw ~]$ hdfs fsck

Usage: DFSck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]

<path> start checking from this path

-move move corrupted files to /lost+found

-delete delete corrupted files

-files print out files being checked

-openforwrite print out files opened for write

-includeSnapshots include snapshot data if the given path~

-list-corruptfileblocks print out list of missing blocks and files they belong to

-blocks print out block report

-locations print out locations for every block

-racks print out network topology for data-node locations

-blockId print out which file this blockId belongs to, locations (nodes, racks) ~

应用场景：当在上传文件到HDFS中时，碰到忽然断电等突发操做，服务器重启后会发现hdfs启动不了，可使用hdfs fsck命令查找到其中腐败的块。

而后使用hdfs fsck -delete /腐败的块的位置将该块删除，就能够重启HDFS了。

3. Yarn的HA配置

一、在HDFS的的服务中点击启动High Availability

二、选择Yarn高可用所须要的主机

三、安装Yarn高可用所须要的服务

四、Yarn高可用安装成功

4. Yarn中的经常使用命令

一、查看Yanr中所用正在运行的程序

　　yarn application -list

二、kill掉经过yarn提交的spark的实时程序

　　yarn application -kill application_1541073817208_0238

三、查看yarn中的一个程序的任务日志（有些日志只能这样查看，在web界面的log中显示不出来）

　　yarn logs -applicationId application_1541073817208_0677 |grep "查找的内容"

CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

相关文章连接

1. HDFS的HA配置

2. HDFS中的2个经常使用命令

3. Yarn的HA配置

4. Yarn中的经常使用命令