CentOS7安装CDH 第六章：CDH的管理-CDH5.12

时间 2019-12-01

标签 centos7 centos 安装 cdh 第六管理 cdh5.12 栏目 Tomcat 繁體版

原文原文链接

1. CDH体系架构剖析

1.1. 2个注意

全部的配置修改，都是从 7180 端口的 web 界面修改。当在web界面修改配置信息后会提示须要集群重启，此时选择重启，并选中其中的“从新部署客户端配置”。
kill -9 cm 进程/hdfs 进程，supervisord 会启动被 kill 掉的进程。
修改配置信息步骤：Web 界面修改------>数据库表 configs 表------->/etc/hadoop/*------->/var/run/cloudera-scm-agent/process/*
- web 界面修改参数,保存,到 configs 表
- 从新部署客户端,到/etc/hadoop/的某个目录下,而后经过 alternatives 命令动态更新到 conf文件夹;且会在/var/run/cloudera-scm-agent/process/目录下生成 deploy 文件夹
- 重启集群或者重启单个服务,会在/var/run/cloudera-scm-agent/process/目录下生成各个组件的运行的配置文件夹(是有序号标识的)

1.2. 架构剖析

CM 分为 Server 与 Agent 两部分及数据库（MySQL）。它主要作三件事件：
- 管理监控集群主机，包含本身。
- 统一管理配置，提供 web 端。
- 管理维护 Hadoop 平台系统。
实现采用 C/S 架构，Agent 为客户端，负责执行服务端发来的命令，执行方式通常为使用 python调用相应的服务 shell 脚本。Server 端为 Java REST 服务，提供 REST API，Web 管理端经过 REST API调用 Server 端功能，Web 界面使用富客户端技术（Knockout）。
- Server 端主体使用 Java 实现。
- Agent 端主体使用 Python, 服务的启动经过调用相应的 shell 脚本进行启动，若是启动失败会重复 4 次调用启动脚本。
- Agent 与 Server 保持心跳，使用 Thrift RPC 框架。

2. CM中的经常使用命令

service cloudera-scm-server start|stop|restart|status

service cloudera-scm-agent start|stop|restart|status

查看进程:jps / jps -l /jps –m

注意：

当使用jps命令时，出现以下情景：

1101 -- process information unavailable

但ps -ef|grep 1101 找不到该进程，那么就是残留文件，

此时cd /tmp/hsperfdata_hdfs/等相似文件夹中，找到 1101文件，删除便可。

3. CDH集群正确启动和中止顺序

3.1. 启动

1.su – mysqladmin service mysql start
2.service cloudera-scm-server start
3.service cloudera-scm-agent start (每台)
4.web: cms
5.web: cluster1

3.2. 中止

1.web: cluster1
2.web: cms
3.service cloudera-scm-agent stop (每台)
4.service cloudera-scm-server stop
5.su – mysqladmin service mysql stop

3.3. 注意点

cms 和 cluster1 不管哪一个关闭、启动等等操做，会形成web界面的图表的不绘制情景，此时能够采起以下操做：
1.cms 和 cluster1 都要启动，稍微等待，正在恢复中(30s)
2.先cluster1关闭,再重启cms服务

4. CDH配置QQ预警邮箱

4.1. 开启QQ邮箱的SMTP

这里使用了QQ邮箱的SMTP，须要获取QQ邮箱的受权码：

4.2. 安装并开启和关闭centos7对应的邮箱服务

# 卸载原有邮箱服务，并安装新的邮箱服务
yum remove postfix
yum install postfix

# 关闭机器的sendmail服务
systemctl stop sendmail.service
systemctl disable sendmail

# 开启postfix服务
systemctl start postfix.service
systemctl enable postfix

4.3. 建立证书文件

mkdir -p /root/.certs/
echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne '/-BEGINCERTIFICATE-/,/-END CERTIFICATE-/p' > ~/.certs/qq.crt
certutil -A -n "GeoTrust SSL CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt
certutil -A -n "GeoTrust Global CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt
certutil -L -d /root/.certs
cd /root/.certs
certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt

4.4. 在/etc/mail.rc文件末尾添加如下受权码

set from=1043797615@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=1043797615
#受权码
set smtp-auth-password=cgnrvyvbbsufbcbd
set smtp-auth=login
set smtp-use-starttls
set ssl-verify=ignore
set nss-config-dir=/root/.certs

4.5. 命令行验证邮箱服务

echo hello word | mail -s " title" 1028344078@qq.com
# 此时1028344078@qq.com 会收到一封邮件

4.6. CDH配置邮件测试

#查看 Alert 服务的 log
tail -F /var/log/cloudera-scm-alertpublisher/mgmt-cmf-mgmt-ALERTPUBLISHER-hadoop35.log.out

# 实时查看Linux中的邮件日志
tail -f /var/log/maillog

选择警报，再选择编辑收件人：

点击发送测试警报，对应的邮箱会收到测试邮件。

4.7. 预警邮件中的坑

在Alert Publisher服务中，默认的邮件发件人地址以下，当邮件发送过多时，邮件的服务商会默认设置此地址为骚扰邮件，以后就不能接收到警告邮件了，此时能够在邮件网页中，点击回复，给此地址回复一封邮件，创建信任关系，就能够继续收到此地址发送的邮件了。

5. CDH集群不能运行时的一些问题汇总

在CDH中有以下服务：

db(mysql)

server (cmf)

agent 本次被删除了

cms(5个进程，amon )

HDFS/yarn/zk/hive 元数据

5.1. 数据库服务没有启动

CDH集群中，CM的server须要引用数据库中的cmf库，cms（Cloudera Management Service）须要引用数据库中的amon库，因此当数据库不能使用时，CDH集群启动不了，CDH中的数据库配置在/etc/cloudera-scm-server/db.properties路径中。（在cms中，一共有5个子服务）

5.2. 一个节点中agent彻底崩溃

1.此时先检查节点中agent的状态，将agent的遗留文件删除。
2.进入/var/www/html/cm5/redhat/7/x86_64/cm/5.12.0/RPMS/x86_64文件夹中，安装agent服务，安装命令：yum install cloudera-manager-agent-5.12.0-1.cm5120.p0.120.el7.x86_64.rpm。
3.进入/etc/cloudera-scm-agent文件夹中，配置config.ini配置文件。
4.修改其中的server_host为cm的server安装机器的IP地址（能够查看其余能运行的节点的该配置文件的IP地址）。
5.使用service cloudera-scm-agent start命令启动该节点的agent，再去web界面重启CMS。
上述问题说明CMS也是经过agent来启动和管理的。

5.3. 地址已被使用问题

当CDH的启动异常，并报以下错误时有几种解决方法：

Caused by: java.net.BindException: Address already in use

一、此时为地址被占用，使用ps/netstat查看该进程号，并kill掉该进程便可。

例：

ps -ef | grep alert #查看alert的进程号

netstat -nlp |grep 12704 #查看该进程的端口号

kill -9 12704 #kill掉该进程，而后再查看端口号便可

二、能够在web界面将有问题的服务删除，在添加该实例：

三、能够将cloudera-scm-agent服务中止，在kill父进程super（ps –ef|grep super），而后再启动cloudera-scm-agent服务，再去web界面重启。

四、实在不行重启服务器

6. CDH中的日志介绍

stdout/stderr/role log

查看顺序：role log -> stderr -> stdout