Cloudera Manager5及CDH5在线安装（cloudera-manager-installer.bin）



1、  准备工做

 

1.    需求条件

• 网速好

由于是线上安装，因此要求要有比较大的带宽，特别是并行安装台服务器时。

 

• 网络稳

一旦网络中断，可能你花费了半天或则一天的时间，就有可能会浪费，而后重装。

 

• 内存大

最少要求10G以上内存，特别NameNode节点分配的角色较多，占用内存会更多。

 

2.    安装环境

 

安装版本

OS：CentOS 6.7

CM：Cloudera Manager5.7

CHD：Cloudera Hadoop 5.7（Hadoop2.6.0,Hbase1.2.0,Hive1.1.0）

 

注：

初步准备6台服务器安装，后面可根据须要再添加新服务器到集群中

 

3. 系统配置

 

1. 修改每台/etc/hosts文件

 

1. 每台都要安装ssh

# yum install ssh

 

1. 修改/usr/bin/host文件名

# mv /usr/bin/host /usr/bin/host.bak

 

1. 修改swappiness参数配置

--临时生效配置

# echo 0 > /proc/sys/vm/swappiness

--永久生效配置

[root@hadoop0 ~]# cat /etc/sysctl.conf

vm.swappiness = 0

 

 

2、Cloudera Manager安装

 

1.      下载cloudera-manager-installer.bin

下载地址：

http://archive.cloudera.com/cm5/installer/5.7.0/

 

2.      执行并安装CM

--赋予脚本执行权限

# chmod u+x cloudera-manager-installer.bin

 

--执行脚本启动安装界面

# export DISPLAY=192.168.1.198:0.0

# ./cloudera-manager-installer.bin

 

弹出安装界面后，赞成点Next就能够：

 

 

Next:

Next:

Next:

Next:

 

开始安装：

 

 

安装完成：

 

安装完成弹出的对话框：

Your browser should now open tohttp://localhost:7180/. Log in to Cloudera Manager with the username andpassword set to 'admin' to continue installation.

 

在安装cloudera-server的pc机下，输入下面网址便可访问：

http://localhost:7180/

 

 

上面点击close，会自动访问。关闭浏览器后，会看到下图

 

 

http://ip:7180/ 登陆界面：

输入用户名和密码

用户名：admin

密码： admin

 

这样cloudera-manager-server就已经安装成功了。

 

 

3、Cloudera Hadoop集群安装

 

1.     选择CM版本

首先登陆http://localhost:7180/管理界面，选择ClouderaHadoop版本和指定主机

 

 

咱们选择ClouderExpress。
固然你选择ClouderEnterprise试用版也能够。关于Clouder Express和Clouder Enterprise的区别见文章：

http://bananalighter.com/cloudera-manager-express-vs-enterprose/

 

单击继续

 

2.     选择要安装CDH的主机

注：使用主机名的通配符或是用逗号隔开全部主机名，可点击模式查看格式。

 

都选中后，点击继续

 

3.     选择CDH存储库

 

 

 

 

4.      配置 Java 加密

 

5.     选择用户模式

 

不用单用户模式安装：

 

6.     SSH登陆主机

 

这里选用的是root，而且接受相同的密码。

 

注：

指定主机的 SSH 登陆方式

一种经过root用户，密码须要一致，刚开始安装建议使用root。

也可使用非root用户，可是须要保证sudo无密码访问

实现方法以下：

给aboutyun用户设置无密码sudo权限：

# chmod u+w /etc/sudoers

grid ALL=(root)NOPASSWD:ALL

# chmod u-w /etc/sudoers

测试：sudo ifconfig

 

7.     集群安装（jdk,agent）

这一步很重要，主要下载安装jdk,agent包，在线安装可能花的时间比较长，也有可能会由于主机配置不当，或是网络缘由会下载安装失败，安装失败后要卸载重装。遇到的问题也在后面作了总结。

 

安装完成后通讯就成功了。

 

这步可能遇到的问题比较多，下面是一结错误总结：

http://www.aboutyun.com/thread-9293-1-1.html

 

 

8.     安装Parcel包

关于Parcel的做用和原理见：

 

9.     检查主机正确性

 

 

 

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您能够继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机因为交换运行情况不佳。如下主机受到影响：

 

解决办法：

# echo 0 > /proc/sys/vm/swappiness

# vi /etc/rc.local

echo 0 > /proc/sys/vm/swappiness

 

 

已启用透明大页面压缩，可能会致使重大性能问题。请运行“echo never> /sys/kernel/mm/transparent_hugepage/defrag”以禁用此设置，而后将同一命令添加到 /etc/rc.local 等初始脚本中，以便在系统重启时予以设置。如下主机将受到影响： 

hadoop[0-5].hadoop.com

 

解决：

# echo never> /sys/kernel/mm/transparent_hugepage/defrag

# vi /etc/rc.local

echo never >/sys/kernel/mm/transparent_hugepage/defrag

 

 

问题：

IOException thrown while collecting data from host: No route to host

缘由：agent开启了防火墙

解决：service iptables stop（不推荐）

 

 

 

10. 集群设置

选择要安装的服务，根据本身服务器性能和须要设置

 

分配角色：

 

 

 

 

 

数据库设置：

这里默认的是内嵌的PostgreSQL数据

Hive/cHHjYGNhGs

 

Oozie:oozie_oozie_server/n5wSvDW71N

 

点击测试链接检查是否链接成功。

 

 

审核更改：

这里修改要安装服务的配置参数

 

 

11. 启动服务

最后设置完成后启动服务

 

完成后能够主机页面看到已经成功安装的主机列表：

 

4、向集群中添加新主机

在主机列表页面点击“向群集中添加新主机”

 

1.    选择集群

 

选择群集名：

 

2.    安装CDH

 

下面步骤和上面安装CDH的步骤同样：