product of大数据平台搭建------CM 和CDH安装

 

1、安装说明

      CM是由cloudera公司提供的大数据组件自动部署和监控管理工具，相应的和CDH是cloudera公司在开源的hadoop社区版的基础上作了商业化的封装的大数据平台。

       采用离线安装模式，虽然在线安装比较简单，可是速度感人，缘由你们都懂，这里我使用的各软件版本信息为：

操做系统：CentOS6.8

CDH版本：5.7.1：CDH-5.7.1-1.cdh5.7.1.p0.11-el5.parcel.sha

                           CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel

                           manifest.json

 

二 、系统环境部署

 

 

2.1 在全部节点上部署网络环境

vim /etc/hosts

 

 

**注意127.0.0.1对应的node2要删掉，不然后面mysql的登陆会有问题

2.2 关闭防火墙和SELINUX

 

关闭防火墙	暂时关闭	service iptables stop
	永久关闭	chkconfig iptables off
关闭SELINUX	临时关闭	setenforce 0
	永久关闭	vim /etc/selinux/config    修改SELINUX=enforcing 改成 SELINUX=disabled

 

2.3 安装JDK（这部就很少BB了）

2.4 设置时间同步

全部节点安装NTP	yum install ntp
配置开机自动启动	chkconfig ntpd on
检查是否开启成功	chkconfig --list ntpd（2-5为on则开启成功）
设置同步	ntpdate -u ntp.sjtu.edu.cn

 

**遇到问题noserver suitable for synchronization found

**解决方案：cmd里输入nslookup cn.pool.ntp.org，找到ping的通的IP，将这个IP地址替换到ntpdata -u后面

 

 

2.5 配置本地yum源或者第三方yum源

 

将xxxx.repo拷贝到各台机器的/etc/yum.repo.d下(这里的repo是公司本身部署的，我就直接拿过来用了)
清理元数据缓存	yum clean all
从新创建元数据缓存	yum makecache

2.6 在管理节点上安装mysql

 

 

安装mysql的yum源	rpm -ivh http://repo.mysql.com/yum/mysql-5.5-community/el/6/x86_64/mysql-community-release-el6-5.noarch.rpm
修改安装好的yum源	vim /etc/yum.repos.d/mysql-community.repo    将5.5的enabled改成1,5.6的enabled改成0
安装mysql	yum install mysql-server
添加自启动 启动mysql 修改root密码 进入mysql	chkconfig mysqld on service mysqld start mysqladmin -u root password '123456' mysql -uroot -p123456

2.7 在mysql中建立相关库并受权

建库

mysql> create database amon default character set utf8 ; mysql> create database rman default character set utf8; mysql> create database metastore default character set utf8; mysql> create database sentry default character set utf8; mysql> create database hue default character set utf8; mysql> create database nav default character set utf8; mysql> create database navms default character set utf8; mysql> create database oozie default character set utf8;

受权

mysql> grant all privileges on amon.* to 'amon'@'192.168.%' identified by 'amon'; mysql> grant all privileges on hue.* to 'hue'@'192.168.%' identified by 'hue'; mysql> grant all privileges on rman.* to 'rman'@'192.168.%' identified by 'rman'; mysql> grant all privileges on metastore.* to 'hive'@'192.168.%' identified by 'hive'; mysql> grant all privileges on sentry.* to 'sentry'@'192.168.%' identified by 'sentry'; mysql> grant all privileges on nav.* to 'nav'@'192.168.%' identified by 'nav'; mysql> grant all privileges on navms.* to 'navms'@'192.168.%' identified by 'navms'; mysql> grant all privileges on oozie.* to 'oozie'@'192.168.%' identified by 'oozie'; mysql> flush privileges;

2.8 添加cmadmin用户（可选）

 

各台机器上添加cmadmin用户	groupadd cmadmin useradd cmadmin -g cmadmin passwd cmadmin（cmadmin123.）
分别添加sudo权限	visudo    cmadmin  ALL=(ALL)     ALL
切换到cmadmin用户	su cmadmin

2.9 配置SSH免密钥登陆（可选）

 

Ssh免秘钥设置

注意调整/etc/hosts.all中的sshd访问权限，增长cm server的ip

sshd:192.168.8.20#cloudera manager server's ip

切换到cmadmin用户，执行下面命令

全部机器	ssh-keygen -t rsa
管理端	ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub  >> ~/.ssh/authorized_keys chmod 600 .ssh/authorized_keys scp -P 20022 ~/.ssh/authorized_keys  cmadmin@tk-dat-hadoop179:~/.ssh/（根据具体ip变化）

 

 

3、Cloudera Manager安装

 

 

3.1 安装CM

sudo yum install cloudera-manager-daemons cloudera-manager-server --enablerepo=jjmatch //这里的repo是刚才配置的本地yum源

3.2 建立临时初始化cloudera manager server数据库的帐号

（node2替换为主机名）

mysql -uroot -p123456     grant all privileges on *.* to 'temp'@'node2' identified by 'temp' with grant option;     grant all privileges on *.* to scm@'node2' identified by scm with grant option;

 

3.3 初始化Manage server的数据库配置

/usr/share/cmf/schema/scm_prepare_database.sh mysql -h node2 -utemp -ptemp --scm-host node2 scm scm scm

*****问题1：提示找不到JAVA_HOME

故障缘由：CM server找不到javahome

解决方案:将/usr/share/cmf/schema/scm_prepare_database.sh打开，在对应java版本的java_home_candidates里加上本机的java_home位置

 

 

*****问题2：mysql一直提示Accessdenied for user 'root'@'node2

故障缘由：hosts文件中的地址解析和mysql有冲突

解决办法：删除host文件中主机名对应的IP，重装mysql或在其余机器上安装mysql。

成功界面

 

3.4 启动cloudera manager server服务

sudo service cloudera-scm-server start

3.5 Cloudera manager agent安装（全部节点）：

yum  -y install cloudera-manager-agent cloudera-manager-daemons

3.6 准备parcels（parcels是cm能识别的cdh安装包）：

一、从网上下载相关parcels至manager机器上的parcels目录（默认是/opt/cloudera/parcel-repo）

二、打开manifest.json文件，找到"parcelName":"CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel"对应的hash值（e24f56882ecdcf6837636abc8298c629c0f9d109），并将它复制下来，将CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1　重命名为

CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha

mv CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1 CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha

三、而后打开CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel，把复制的hash值替换掉里面的值，正常状况下这个文件里的hash值是一致的。这样，本地源制做就完成了。

*****问题1：web页面找不到我所下载版本parcel包

故障缘由：一、parcel包与parcel.sha1包对应的文件名不同，一个是el5,一个是el6

                二、没看清楚安装文档，直接将mainfest.json中最末尾的hash值复制到parcel.sha中，应该是找到版本对应的hash值

 

4、经过CM安装CDH

 

4.1 登陆控制台，找到对应的主机和parcel安装包

    开始登录clouderamanager管理控制台http://192.168.159.11:7180（cloudera manager server所在主机ip：7180）

    初始帐号：amdin  密码：admin，选择Express版本，指定主机的时候，输入本身的机器的网段192.168.159.[11-13]。

  选择本身提早下载好的parcel包对应的版本。   

 

*****问题1：在本页面中找不到“当前管理的主机”的Tab栏，

故障缘由：没有在agent中配置server的主机名

解决办法：在/etc/cloudera-scm-agent/config.ini中配置CM的主机名，此处改为node2.

 

4.2 正式开始安装CDH

JDK安装	不勾选，使用咱们以前安装好的jdk，点击继续
单用户模式	不勾选，点击继续
SSH凭据	为系统提供ssh密码，点击继续

 

*****问题1：node4没法接收Agent发出的检测信号，

故障缘由：node4上的hosts文件中的127.0.0.1对应的node4没有删除

解决办法：删除hosts文件中对应的node4

 

点击继续

 

*****问题1：检查器在node[3-4]上未启动

故障缘由：clouderamanager 不会自动去系统环境变量里寻找jdk，而会用本身的bigtop管理jdk

解决办法：修改/usr/lib64/cmf/service/common/cloudera-config.sh中对应版本的jdk_candidates,添加本身安装的jdk

*****注意：路径前有斜杠，千万不要漏掉！千万不要漏掉！千万不要漏掉！以前漏掉了一次，排查了很久

 

****问题2：Cloudera建议将 /proc/sys/vm/swappiness 设置为 0

# vi /etc/sysctl.conf    vm.swappiness = 0

 

*****问题3：已启用“透明大页面

echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag（暂时生效） vim /etc/rc.local（将上面两行添加进来，永久生效）

4.2 选择组件

 

注意zookeeper至少三台，其余设置保持默认便可，一路下一步

5、添加其余大数据组件

 

5.1 选择要添加的组件

 

5.2 分配角色

 

6、总结

    一个如此简单的平台部署工做，对于我这个新手来讲却折腾了大半天，一些经常使用的linux命令也不熟悉，各个文件的默认安装目录也不知道，什么事都要问百度，CDH和CM解决了大规模的集群的部署工做，简化了无数的手工操做，简直是中小公司快速部署大数据集群的福音，官方文档也十分详尽，里面有数不清的宝藏，你们有空能够多去看看，就当练习英语了均可以。可是CDH被诟病的地方也是其中各个组件的版本绑定太厉害，对于定制化开发需求很大的公司来讲，是一个不能忍受的弊端。

 

https://blog.csdn.net/sinat_32176947/article/details/79591583