CentOS 6.9搭建CDH 5.12.0集成环境

Cloudera Manager则是为了便于在集群中进行Hadoop等 大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、 Hive、 Spark等服务的安装配置管理作了极大简化。

 

环境准备

相关包的下载地址：

JDK： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

JDBC驱动： http://dev.mysql.com/downloads/connector/j/

Cloudera Manager地址： http://archive.cloudera.com/cm5/cm/5/

CDH安装包地址： http://archive.cloudera.com/cdh5/parcels/latest/

 

如下使用的操做系统为CentOS6.9，须要下载如下文件：

jdk-8u144-linux-x64.rpm

mysql-connector-java-5.1.43.tar.gz （解压其中的jar包便可）

cloudera-manager-el6-cm5.12.0_x86_64.tar

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1

manifest.json

 

如下操做均须要(root)管理员权限

1.网络配置(全部节点)

修改主机名：vim /etc/sysconfig/network

修改ip与主机名的对应关系：vim /etc/hosts

192.168.3.190   master 192.168.3.176   node1 192.168.3.158   node2

 

2.打通SSH，设置ssh无密码登录（全部节点）

执行ssh-keygen -t rsa，一路回车，生成无密码的密钥对。

将公钥复制成认证文件并修改权限：

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys && chmod 600 ~/.ssh/authorized_keys

经过scp命令将认证文件拷贝到全部其余节点。

3.安装Oracle的Java（全部节点）

CentOS自带OpenJdk，不过运行CDH5须要使用oracle的JDK。

卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，并rpm -e --nodeps 包名卸载。

下载jdk的rpm安装包，并使用rpm -ivh 包名安装，最后配置环境变量。

rpm -ivh jdk-8u144-linux-x64.rpm

4.安装配置 MySQL（主节点）

安装mysql服务，service mysqld start启动mysql服务，并根据提示设置

设置开机启动：chkconfig mysqld on

root的初始密码：mysqladmin -u root password 'xxxx'

设置root受权访问全部的数据库： grant all privileges on *.* to 'root'@'%' identified by '123' with grant option;

flush privileges;

 

5.关闭防火墙和SELinux （全部节点）

关闭防火墙：

service iptables stop （临时关闭）  chkconfig iptables off （重启后生效）

 

关闭SELINUX

setenforce 0 （临时生效）  修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

 

6.全部节点配置NTP服务 （全部节点）

集群中全部主机必须保持时间同步，若是时间相差较大会引发各类问题。

全部节点安装相关组件：yum install ntp。

完成后，配置开机启动：chkconfig ntpd on

开启服务：service ntpd start

检查是否成功，用ntpstat命令查看同步状态，出现如下状态表明启动成功：

unsynchronised

   polling server every 64 s

 

正式安装

 

解压安装 （全部节点）

cloudera manager的目录默认位置在/opt下，将包导入并解压：

tar zxf cloudera-manager-el6-cm5.12.0_x86_64.tar.gz

 

建立cloudera-scm用户（全部节点）

useradd --system --home=/opt/cm-5.12.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

为Cloudera Manager 5创建数据库 并初始化（主节点）

先将JDBC驱动 mysql-connector-java-5.1.43-bin.jar，放到/opt/cm-5.12.0/share/cmf/lib/中。

 

初始化：

/opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123 --scm-host localhost scm scm scm

 

修改agent配置文件（全部节点）

修改/opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

 

准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。

相关的文件以下：

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1 manifest.json

 

而后需将CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1重命名为CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha

 

启动脚本

经过/opt/cm-5.12.0/etc/init.d/cloudera-scm-server start启动服务端。

经过/opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start启动Agent服务。

 

中止服务stop，重启是restart。

 

CDH5的安装配置

Cloudera Manager Server和Agent都启动之后，就能够进行CDH5的安装配置了。

这时能够经过浏览器访问主节点的7180端口测试一下了（因为CM Server的启动须要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin：

 

 

 

各个Agent节点正常启动后，能够在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。

 

接下来，出现如下包名，说明本地Parcel包配置无误，直接点继续就能够了。

 

点击，继续，若是配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，而后就是耐心等待分配过程就好了。

 

接下来是服务器检查，可能会遇到如下问题： （根据提示操做便可）

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10。当前设置为 60。

已启动“透明大页面”，它可能会致使重大的性能问题。

临时解决办法：

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

长期解决办法：将配置文件写入/etc/rc.local

 

 

接下来是选择安装服务：

 

服务配置，通常状况下保持默认就能够了（Cloudera Manager会根据机器的配置自动进行配置，若是须要特殊调整，自行进行设置就能够了）：

 

 

接下来是数据库的设置，须要建立一些数据库：

mysql -uroot -pxxxx进入mysql命令行，建立如下数据库：

--hive数据库 create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; --oozie数据库 create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; --hue数据库 create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

 

问题：

一、Logon denied for user/password. Able to find the database server and database, but logon request was rejected

解决办法：建立一个新的用户并受权

grant all privileges on *.* to 'user'@'主机名' identified by '密码' with grant option;

设置root受权访问以上全部的数据库

flush privileges;

 

二、hive和oozie默认都没有带mysql的驱动，需拷贝jar包到依赖目录

hive：/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib/

oozie：/opt/cloudera/parcels/CDH/lib/oozie/libtools

 

三、若是hue连不上，会报错：Unexpected error. Unable to verify database connection.

这是由于Centos最小安装，缺了个东西：yum install -y python-lxml

 

下面是集群设置的审查页面，所有保持默认配置便可：

 

 

接下静静地等待便可。