基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

1、Cloudera Manager/CDH5

一、关于cloudera manager和CDH是什么，这里不作详细介绍了。有官网和百科介绍。

附上官网地址：cloudera manager

二、官网的安装指南

官方文档提供了三种安装方式：在线自动安装/手动安装包安装/手动使用cloudera manager管理安装

此处使用第三种方式安装hadoop集群。

2、环境规划

一、系统：CentOS 6.4_x86

 master：4G内存，硬盘尽可能大容量

 slave1：2G内存，硬盘尽可能大容量

 slave2：2G内存，硬盘尽可能大容量

二、Cloudera Manager 5.3.3

三、CDH 5.3.3

安装包下载：

• Cloudera Manager 5.3.3：http://archive-primary.cloudera.com/cm5/cm/5/

• CDH 5.5.5：http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/

下载软件包：

1. CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel

2. CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1

3. manifest.json

3、系统环境准备工做

• 这次执行权限均为root用户

• 全部的机器都必须ssh互信模式

• 修改主机名使用hosts文件或者DNS服务器

• 关闭iptables和selinux

• 卸载系统自带的openjdk,安装oracle的jdk

• master节点安装mysql

• 全部节点的时间必须同步(ntp服务器或其余方法)

• 修改全部节点的内核参数

  i. echo 0 > /proc/sys/vm/swappiness

  ii.echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

4、正式开始安装

一、cloudera manager默认的目录是在/opt下，解压到/opt目录下。

# tar xf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz -C /opt/
# ls /opt/
cloudera  cm-5.3.3
#
# 安装mysql-connector-java
# yum -y install mysql-connector-java

二、初始化数据库

# /opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
# mysql -uroot -p123456 -e "show databases;"    查看下cm数据库是否建立成功

三、复制数据到其余节点

# 修改配置文件server_host为master节点的主机名
# grep server_host /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini
    server_host=master
# scp -rp /opt/cm-5.3.3 slave1:/opt/
# scp -rp /opt/cm-5.3.3 slave2:/opt/
#
# 每一个节点建立系统用户
# useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "cloudera scm user" cloudera-scm

四、数据库的配置

# hive
# create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# active monitor
# create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# 受权master主机
# grant all on *.* to 'root'@'master' identified by 'PASSWD';

五、准备parcels安装包到/opt/cloudera/parcel-repo/

# ls /opt/cloudera/parcel-repo/
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel  CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha  manifest.json
# 注意：CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha下载后的文件重命名的
#
# 启动master节点的server和agent脚本
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start
# server端口启动较慢
#
# 启动其余全部节点的agent脚本
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start

5、CDH 5安装配置

一、访问http://master-ip:7180端口开始安装

登录名:admin 密码:admin

二、选择一个版本进行安装，此处选择第一个免费版。而后下一步-->下一步

三、选中全部主机：

四、若是配置正确，会出现以下界面

五、而后继续下一步,因为咱们已经下载了离线包，因此下载是很快就能完成的

六、主机检测，检测主机是否符合安装要求，符合要求后会所有经过，不然请按照要求设置

七、而后选择须要安装的软件包，能够全选或自定义，也能够选择集成了某一个组件功能的软件包来安装

八、角色分配，此处默认，能够按需调整

九、数据库测试:

十、审核更改参数，可使用默认，也能够按需更改

十一、启动正常的安装配置了，等待安装完成后再次访问主页便可。

十二、完成后的登录界面

因为主机性能较低，数据延迟很大，查询常常没法显示。并且因为此处的磁盘空间不足，因此有不少警告信息。到此安装已所有完成。

6、其余问题说明

oozie的web界面的开启：

cloudera的文档中有说明配置oozie：

安装这个操做便可：

# mv ext-2.2.zip /var/lib/oozie/
# cd /var/lib/oozie
# unzip ext-2.2.zip

刷新界面：

hadoop2.x版本更新了一些新功能，支持HDFS的高可用等。cloudera manager管理界面能够直接操做等这一系列的功能，仍是很方便的。

在集群里的HDFS界面的右上角有操做选项栏：

点击后根据提示就能正常的配置了。管理界面添加移除集群中的主机也是很是方便的，具体的操做就不一一演示了。

7、Hadoop测试程序

# 计算pi值
# sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100
...
Job Finished in 126.439 seconds
Estimated value of Pi is 3.14800000000000000000
# 能够看到执行结果

能够在YARN的web界面看到详细job的信息

还有不少测试程序能够运行测试。这里就不一一演示了。

另外，这种安装方式虽然快捷方便，可是不利于对总体的理解，建议仍是使用下载安装包的方式安装，配置文件等都是须要手动编写的，对于理解比较深入。