CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0

时间 2020-06-02

标签 centos7 centos 安装 cdh 第五部署 cdh5.7.0 栏目 Tomcat 繁體版

原文原文链接

1. CDH的下载

以CentOS7.5和CDH5.7.0举例：

1.1. cm的tar包下载

下载地址：http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/

请选择须要的版本。

1.2. parcels包下载

下载地址：http://archive.cloudera.com/cdh5/parcels/5.7.0/

请选择对应的版本，el7，并将后缀.sha1更改成.sha。

2. 安装CDH的准备工做（全部节点都要执行）

2.1. 安装好JDK

2.2. 更改主机名和hosts

# echo "bigdata0*.tfpay.com" > /etc/hostname # echo "172.17.28.1 bigdata01.tfpay.com bigdata01" >> /etc/hosts # echo "172.17.28.2 bigdata02.tfpay.com bigdata02" >> /etc/hosts # echo "172.17.28.3 bigdata03.tfpay.com bigdata03" >> /etc/hosts # echo "172.17.28.4 bigdata04.tfpay.com bigdata04" >> /etc/hosts

2.3. 关闭防火墙，并重启服务器使hostname和selinux的配置生效

# systemctl stop firewalld # systemctl disable firewalld # systemctl status firewalld # sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config # reboot # getenforce # sestatus -v

2.4. 安装NTP服务

#在全部节点 yum -y install ntp #在master节点，注释掉原有的server指向把时间服务器的域名地址指向一个靠谱可连的时间服务器，我选择的是ntp.api.bz. # vim /etc/ntp.conf …… #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst server ntp.api.gz iburst ...... # 在其他的节点上，把时间服务器的server指向master namenode节点 # vi /etc/ntp.conf …… #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst server 172.17.28.1 iburst ...... # 在全部节点 systemctl start ntpd systemctl enable ntpd

2.5. 配置SSH无密码登陆，如上配置免密登陆所示

2.6. 安装MySQL数据库，能进入MySQL数据库即为安装完成

3. 配置CDH的离线安装

目的：将上述下载的4个文件上传到centos7服务器中，并配置好离线服务，安装时便可以从该离线服务中下载，不须要再从官网中去下载，防止网络错误。

3.1. 在master节点上安装httpd

# 查看该centos7是否存在httpd服务 rpm -qa|grep httpd # 若是不存在该服务就安装 yum install -y httpd # 启动该服务 systemctl start httpd.service #启动 systemctl stop httpd.service #中止 systemctl restart httpd.service #重启 # 设置该服务是否开机启动 systemctl enable httpd.service #开机启动 systemctl disable httpd.service #开机不启动 # 查看该服务的状态 systemctl status httpd.service

当访问该服务器的80端口出现以下画面即为安装和启动成功

3.2. 建立 parcels文件

# 在/var/www/html下建立一个parcels文件夹，并将上述下载的3个文件上传到该目录下 cd /var/www/html/ mkdir parcels # 上传以下3个文件 CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha manifest.json # 校验文件下载未损坏 /usr/bin/sha1sum CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel cat CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha

若是2个验证码同样，证实该文件未损坏，可使用：

在浏览器中能打开以下网址，证实配置成功：

3.3. 建立cm文件

# 在/var/www/html建立cm5/redhat/7/x86_64/文件夹（和官网同样的路径） cd /var/www/html/ mkdir -p cm5/redhat/7/x86_64/ # 上传cm5.7.0-centos7.tar.gz包到/var/www/html目录下，并解压 tar -zxf cm5.7.0-centos7.tar.gz # 将解压好的文件夹移动到上述建立的文件夹下 mv cm /var/www/html/cm5/redhat/7/x86_64/ # 配置本地的yum源,cdh集群在安装时会就从本地down包,不会从官网了，全部节点都要执行 vim /etc/yum.repos.d/cloudera-manager.repo #在该文件下插入以下数据 [cloudera-manager] name = Cloudera Manager, Version 5.7.0 baseurl = http://192.168.12.131/cm5/redhat/7/x86_64/cm/5/ gpgcheck = 0

在浏览器中出现以下界面：

3.4. 安装CM的server+agent

# 进入上述建立的CM的文件目录下 cd /var/www/html/cm5/redhat/7/x86_64/cm/5.7.0/RPMS/x86_64/ # 安装cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el7.x86_64.rpm yum install cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el7.x86_64.rpm # 安装cloudera-manager-server-5.7.0-1.cm570.p0.76.el7.x86_64.rpm，请注意，不用安装db版本的，那是使用默认数据库的，在生产环境中通常不使用，生产环境中是使用MySQL数据库的 yum -y install cloudera-manager-server-5.7.0-1.cm570.p0.76.el7.x86_64.rpm

3.5. 在MySQL中建立元数据库并上传jar包

# 在MySQL中建立元数据库 create database cmf DEFAULT CHARACTER SET utf8; create database amon DEFAULT CHARACTER SET utf8; create database hive DEFAULT CHARACTER SET utf8; create database oozie DEFAULT CHARACTER SET utf8; create database hue DEFAULT CHARACTER SET utf8; grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456'; grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456'; grant all on hive.* TO 'hive'@'%' IDENTIFIED BY '123456'; grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456'; grant all on hue.* TO 'hue'@'%' IDENTIFIED BY '123456'; # 建立cmf用户，并建立cmf数据库，此数据库需在CDH的数据库配置文件中配置 create database cmf DEFAULT CHARACTER SET utf8; grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456'; flush privileges; # 建立其余数据库，并受权 create database amon DEFAULT CHARACTER SET utf8; grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456'; flush privileges; create database hive DEFAULT CHARSET SET utf8; grant all on hive.* TO 'hive'@'%' IDENTIFIED BY '123456'; flush privileges; create database oozie DEFAULT CHARSET SET utf8; grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456'; flush privileges; create database hue DEFAULT CHARACTER SET utf8; grant all on hue.* TO 'hue'@'%' IDENTIFIED BY '123456'; flush privileges; #给MySQL受权时会出现密码问题，能够执行以下命令 set global validate_password_policy=LOW; set global validate_password_length=6; #修改CDH关于数据库的配置文件(以下图所示) vim /etc/cloudera-scm-server/db.properties # 上传与MySQL链接的jar包（注：jar包须要放入以下目录，没有就建立） # 全部节点都须要执行 cd /usr/share/java # 上传jar包，并修改jar包的名字（此jar包不须要版本号） mv mysql-connector-java-8.0.15.jar mysql-connector-java.jar

CDH数据库配置文件以下图所示：

在CDH5.8.4版本以后又以下配置，请修改：

3.6. 启动cloudera-scm-server服务并查看日志

#启动 service cloudera-scm-server start service cloudera-scm-server status #在启动时有可能碰到The server time zone value 'EDT' is unrecognized异常，这是mysql的时区和系统的时区不匹配，能够参考以下网站解决 https://blog.csdn.net/u010003835/article/details/88974898 #查看日志 cd /var/log/cloudera-scm-server/ tail -f cloudera-scm-server.log # 出现以下7180即证实启动成功 WebServerImpl:org.mortbay.log: Started SelectChannelConnector@0.0.0.0:7180

成功图片以下所示：

此时查看MySQL数据库，会发现cmf数据库下回自动建立表：

使用命令会查看到链接cmf的用户的具体信息：

show processlist;

3.7. 在浏览器的web页面上安装CM

当service cloudera-scm-server start启动成功后，便可以在浏览器上服务7180端口（需开放防火墙）。

1. 在浏览器中输入http://bigdata01.ouyang.com:7180 ，登陆CM的web界面，帐号和密码均为admin：

2. 点击赞成许可：

3. 选择CM的版本：

4. 使用搜索模式，搜索须要安装CDH的主机：

3.8. 在浏览器的web页面上安装CDH集群

1. 选择存储库

点击更多选项，将其余远程Parcel删除，并输入先前配置好的Parcel：

选择CDH的版本，并选择自定义存储库：

地址：http://bigdata01.ouyang.com/cm5/redhat/7/x86_64/cm/5/

2. 是否须要安装JDK，默认不进行安装，直接下一步：

3. 是否启用单用户模式，能够自由选择：

4. 提供 SSH 登陆凭据，能够自由选择，这里直接使用root用户：

5. 进行集群安装，若是安装失败能够点击详细信息查看失败缘由，解决后再从新安装：

6. 安装选定Parcel，先前配置的Parcel就做用于此处，若是不进行此配置会去官网进行下载，对网络要求很高，并网络中断后会从新下载，较麻烦，使用此配置能够直接下载成功，并速度很快：

7. 检查主机正确性，通常来讲此步会存在swap设置和大页面2个问题，可使用以下代码在每一个主机上进行配置，而后从新检测便可：

#关闭大页面 echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'>> /etc/rc.local echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'>> /etc/rc.local #设置swap echo 'vm.swappiness = 10' >> /etc/sysctl.conf sysctl -p

3.9. 在浏览器的web页面上进行CDH集群的配置

1. 选择要在集群上安装的CDH5服务：

2. 自定义角色分配，通常将主色分配到master节点，因此该节点内存要大，zookeeper须要安装奇数台，这里是只安装了一台，不合理，请安装3台以上的奇数台：

3. 进行数据库设置，此步骤中用到的数据库在上述的MySQL数据库中均进行了建立和受权：

4. 审核更改，此步骤中无论是开发测试仍是生产环境，均不须要更改，直接点击继续，进行下一步：

5. 首次运行，会自动运行，运行以后点击继续按钮便可：

6. 安装成功：

此状态为主机配置较低，运行不良，对集群无影响，能够正常工做。