越来越详细的CM
相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识
1.1 说明...............................................................................................................................................3
1.2 集群网络环境介绍..........................................................................................................................3
2 环境搭建...........................................................................................................................................5
2.1 设置IP...........................................................................................................................................5
2.2 设置hosts......................................................................................................................................5
2.3 关闭防火墙....................................................................................................................................6
2.4 关闭SElinux....................................................................................................................................8
2.5 设置机器名....................................................................................................................................8
3 ClouderaManager安装................................................................................................................... 11
3.1 下载Cloudera Manager安装文件................................................................................................... 11
3.2 下载Cloudera Manager所需的rpm包............................................................................................ 11
3.3 安装rpm文件............................................................................................................................... 11
3.4 安装CM....................................................................................................................................... 11
3.5 登录CM....................................................................................................................................... 12
4 ClouderaManager配置及本地源配置.............................................................................................. 13
4.1 配置config.ini文件........................................................................................................................ 13
4.2 配置本地源.................................................................................................................................. 14
5 Hadoop及其组件安装......................................................................................................................17
5.1 选择Cloudera版本........................................................................................................................ 17
5.2 选中受管理的主机........................................................................................................................ 17
5.3 选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18
5.4 把Parcel分配到主机..................................................................................................................... 18
5.5 选择服务...................................................................................................................................... 19
5.6 测试数据库连接........................................................................................................................... 20
5.7 等待所有服务启动........................................................................................................................ 20
6 向集群增加节点............................................................................................................................... 22
6.1 添加主机...................................................................................................................................... 22
6.2 输入IP或主机名........................................................................................................................... 23
6.3 提供SSH登录凭据........................................................................................................................ 24
6.4 安装............................................................................................................................................. 24
l 虚拟软件：VMware®Workstation 9.0.0 build-812388
l 虚拟机操作系统：CentOs 64bit，单核，2G内存
l JDK：1.7.0_45 64 bit
l Hadoop：2.2.0
集群网络环境 集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：
l 192.168.188.141 hadoo1 (namenode))
l 192.168.188.139 hadoo2 (datanode01)
l 192.168.188.140 hadoo3 (datanode03)
所有节点均是CentOS系统，防火墙iptables均禁用
环境搭建
本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。
设置IP 1. 点击System-->Preferences-->Network Connections，如下图所示：
2. 删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：
3. 在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：
设置Host文件 1. 编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下：
l 10.88.147.141 hadoop1.localdomain
l 10.88.147.139 hadoop2.localdomain
l 10.88.147.140 hadoop2.localdomain
2. 使用如下命令对网络设置进行重启
3. 验证设置是否成功
关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常
1. service iptables status 查看防火墙状态，如下所示表示iptables已经开启
2. 使用如下命令关闭iptables，执行该命令后重启机器生效
关闭SElinux 1. 使用getenforce命令查看是否关闭
2. 修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
设置机器名 以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1
复制虚拟机 关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3
SSH无密码验证配置(这一步可省略)
3. 在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；
4. 在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；
5. 把两个从节点的公钥使用scp authorized_keys_hadoop2 [email protected]:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；
6. 把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 >> authorized_keys命令
7. 把该文件分发到其他两个从节点上
使用scp authorized_keys [email protected]:/home/jan/.ssh把密码文件分发出去
8. 测试ssh免密码登录是否生效
Cloudera Manager安装
下载Cloudera Manager安装文件
下载Cloudera Manager所需的rpm包
安装rpm文件
l 将下载的rpm包放入文件夹rpm（文件夹名随意）
l cd ./rpm（进入rpm目录）
l yum localinstall –-nogpgcheck *.rpm(安装rpm包)
3.4 安装rpm文件 l 进入cloudera-manager-installer.bin的下载目录
l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限）
l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）
3.5登录CM 浏览器输入localhost：7180初次登录 用户名：admin 密码：admin
Cloudera Manager文件配置及本地源配置
配置config.ini文件
修改主机名
修改前为：localhost 修改后为：localhost.localdomain
本地源配置
l 把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下
l 新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
l 打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397
l 现在本地源已配好，总之parcel-repo文件中包含一下三个文件：
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
Manifest.json
l 重启系统
Hadoop及其组件安装 选择Cloudera版本
选中受管理的主机
选择安装方式（Cloudera推荐使用Parcel）
把Parcel分配到主机
添加服务
测试数据库连接
等待所有服务开启 等待所有服务开启，时间可能会有点长
向集群增加节点 增加主机
输入IP或主机名
提供SSH登录凭据
安装
目 录
1 准备工作...........................................................................................................................................3
1.1 说明...............................................................................................................................................3
1.2 集群网络环境介绍..........................................................................................................................3
2 环境搭建...........................................................................................................................................5
2.1 设置IP...........................................................................................................................................5
2.2 设置hosts......................................................................................................................................5
2.3 关闭防火墙....................................................................................................................................6
2.4 关闭SElinux....................................................................................................................................8
2.5 设置机器名....................................................................................................................................8
3 ClouderaManager安装................................................................................................................... 11
3.1 下载Cloudera Manager安装文件................................................................................................... 11
3.2 下载Cloudera Manager所需的rpm包............................................................................................ 11
3.3 安装rpm文件............................................................................................................................... 11
3.4 安装CM....................................................................................................................................... 11
3.5 登录CM....................................................................................................................................... 12
4 ClouderaManager配置及本地源配置.............................................................................................. 13
4.1 配置config.ini文件........................................................................................................................ 13
4.2 配置本地源.................................................................................................................................. 14
5 Hadoop及其组件安装......................................................................................................................17
5.1 选择Cloudera版本........................................................................................................................ 17
5.2 选中受管理的主机........................................................................................................................ 17
5.3 选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18
5.4 把Parcel分配到主机..................................................................................................................... 18
5.5 选择服务...................................................................................................................................... 19
5.6 测试数据库连接........................................................................................................................... 20
5.7 等待所有服务启动........................................................................................................................ 20
6 向集群增加节点............................................................................................................................... 22
6.1 添加主机...................................................................................................................................... 22
6.2 输入IP或主机名........................................................................................................................... 23
6.3 提供SSH登录凭据........................................................................................................................ 24
6.4 安装............................................................................................................................................. 24
使用Cloudera Manager安装Hadoop
运行环境
软硬件环境
l 主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存
l 虚拟软件：VMware®Workstation 9.0.0 build-812388
l 虚拟机操作系统：CentOs 64bit，单核，2G内存
l JDK：1.7.0_45 64 bit
l Hadoop：2.2.0
集群网络环境 集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：
l 192.168.188.141 hadoo1 (namenode))
l 192.168.188.139 hadoo2 (datanode01)
l 192.168.188.140 hadoo3 (datanode03)
所有节点均是CentOS系统，防火墙iptables均禁用
环境搭建
本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。
设置IP 1. 点击System-->Preferences-->Network Connections，如下图所示：
2. 删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：
IP地址： 10.88.147.221
子网掩码： 255.255.255.0
网关： 10.88.147.1
DNS： 10.*.*.* (使用DNS上网需要设置)
3. 在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：
设置Host文件 1. 编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下：
l 10.88.147.141 hadoop1.localdomain
l 10.88.147.139 hadoop2.localdomain
l 10.88.147.140 hadoop2.localdomain
2. 使用如下命令对网络设置进行重启
sudo /etc/init.d/network restart
3. 验证设置是否成功
关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常
1. service iptables status 查看防火墙状态，如下所示表示iptables已经开启
2. 使用如下命令关闭iptables，执行该命令后重启机器生效
chkconfig iptables off
关闭SElinux 1. 使用getenforce命令查看是否关闭
2. 修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
设置机器名 以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1
复制虚拟机 关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3
SSH无密码验证配置(这一步可省略)
3. 在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；
4. 在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；
5. 把两个从节点的公钥使用scp authorized_keys_hadoop2 [email protected]:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；
6. 把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 >> authorized_keys命令
7. 把该文件分发到其他两个从节点上
使用scp authorized_keys [email protected]:/home/jan/.ssh把密码文件分发出去
8. 测试ssh免密码登录是否生效
Cloudera Manager安装
下载Cloudera Manager安装文件
Cloudera Manager的可以从如下网址获得：
这里选择Cloudera Manager 最新版5.0.1
下载Cloudera Manager所需的rpm包
下载网址为：
安装rpm文件
l 将下载的rpm包放入文件夹rpm（文件夹名随意）
l cd ./rpm（进入rpm目录）
l yum localinstall –-nogpgcheck *.rpm(安装rpm包)
3.4 安装rpm文件 l 进入cloudera-manager-installer.bin的下载目录
l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限）
l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）
3.5登录CM 浏览器输入localhost：7180初次登录 用户名：admin 密码：admin
Cloudera Manager文件配置及本地源配置
配置config.ini文件
修改主机名
修改前为：localhost 修改后为：localhost.localdomain
本地源配置
Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：
因为这里用的是CentOS6.5,所以选择
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.0.1/
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
注意：Parcel文件对应不同的系统版本
CentOS 6.X对应
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CentOS 5.X对应
CDH-5.0.1-1.cdh5.0.1.p0.47-el5.parcel
l 把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下
l 新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
l 打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：ec68971d2969a5a31e720a2a79ce7a7c1d38e397
{
"parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
"components": [
{
"pkg_version": "0.7.0+cdh5.0.1+0",
"pkg_release": "1.cdh5.0.1.p0.30",
"name": "bigtop-tomcat",
"version": "6.0.37-cdh5.0.1"
},
{
"pkg_version": "0.9.0+cdh5.0.1+23",
"pkg_release":"1.cdh5.0.1.p0.25",
"name": "crunch",
"version": "0.9.0-cdh5.0.1"
},
.........
{
"pkg_version": "0.9.0+cdh5.0.1+8",
"pkg_release": "1.cdh5.0.1.p0.25",
"name": "whirr",
"version": "0.9.0-cdh5.0.1"
},
{
"pkg_version": "3.4.5+cdh5.0.1+30",
"pkg_release":"1.cdh5.0.1.p0.31",
"name": "zookeeper",
"version": "3.4.5-cdh5.0.1"
}
],
"replaces": "IMPALA, SOLR, SPARK",
"hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
}
l 现在本地源已配好，总之parcel-repo文件中包含一下三个文件：
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
Manifest.json
l 重启系统
Hadoop及其组件安装 选择Cloudera版本
选中受管理的主机
选择安装方式（Cloudera推荐使用Parcel）
把Parcel分配到主机
添加服务
测试数据库连接
等待所有服务开启 等待所有服务开启，时间可能会有点长
向集群增加节点 增加主机
输入IP或主机名
提供SSH登录凭据
安装