CDH5安装指南，网友回复：最靠谱的安装指南没有之一

系统要求

系统：CentOS 6.5

Cloudera:CM5.2.0 + CDH 5.2.0

内存：主节点4G内存以上，其余节点须要2G以上内存

Hadoop版本选择

目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。

Apache Hadoop：维护人员比较多，更新频率比较快，可是稳定性比较差。

Cloudera Hadoop（CDH）：CDH：Cloudera公司的发行版本，基于ApacheHadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、增长Cloudera兼容特性。

准备工做

如下步骤要在全部节点上执行

修改hostname vi /etc/sysconfig/network 关闭SELinux 查看SELinux状态

getenforce 若SELinux没有关闭，按照下述方式关闭

vi /etc/selinux/config 修改SELinux=disabled。重启生效，能够等后面都设置完了重启主机

This file controls the state of SELinux on the system.

SELINUX= can take one of these three values:

enforcing - SELinux security policy is enforced.

permissive - SELinux prints warnings instead of enforcing.

disabled - SELinux is fully disabled.

SELINUX=disabled

SELINUXTYPE= type of policy in use. Possible values are:

targeted - Only targeted network daemons are protected.

strict - Full SELinux protection.

SELINUXTYPE=targeted 关闭防火墙 sudo service iptables stop sudo chkconfig iptables off sudo chkconfig iptables --list 网络配置 vim /etc/sysconfig/network-scripts/ifcfg-eth0 设置静态ip，以及指定ip地址

DEVICE="eth0" BOOTPROTO="static" IPADDR=192.168.1.110 NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" DNS1=8.8.8.8 DNS2=8.8.4.4 GATEWAY=192.168.1.1 修改hosts文件 把全部要添加到集群中的主机都要加入hosts中，格式以下：

127.0.0.1 localhost

CDH Cluster

192.168.1.110 master 192.168.1.111 slave1 192.168.1.112 slave2 以上步骤执行完毕后，重启主机

reboot 重启后再次检查下以上几点，确保环境配置正确。

提早下载(本教程中，CM和CDH版本均为5.2.0)

下载cloudera-manager.repo 修改baseurl中cm版本为实际版本，本例中改为5.2.0 [cloudera-manager]

Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64

name=Cloudera Manager baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.2.0/ gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera gpgcheck = 1 下载CM installer 下载CM rpms，目录下所有下载出来 下载CDH Parcel文件，只须要下载图中所示的3个文件 CDH5安装指南，网友回复：最靠谱的安装指南没有之一

CDH文件下载 这里注意下，将.sha1文件后缀更改成.sha，同时把内容只保留hash码部分。(5.2.0版本sha文件内容自己就只包含hash码，不须要修改，其余版本请自行查看！)

Cloudera Manager安装

如下步骤要在全部节点上执行：

将cloudera-manager.repo文件拷贝到全部节点的/etc/yum.repos.d/文件夹下 验证repo文件是否起效 yum list|grep cloudera 若是列出的不是你安装的版本，执行下面命令重试 yum clean all yum list | grep cloudera 将以前下载的rpms文件拷贝到全部节点下（任意目录） 切换到rpms目录下，执行 yum -y install *.rpm 将以前下载的Parcel那3个文件拷贝到/opt/cloudera/parcel-repo目录下（若是没有该目录，请自行建立） 至此，/opt/cloudera/parcel-repo下面有三个文件： CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel mainfest.json CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel.sha 如下步骤请只在主节点上执行：

将下载好的bin文件拷贝到主节点任意目录下 进入该目录，给bin文件赋予可执行权限 sudo chmod +x ./cloudera-manager-installer.bin 安装CM ./cloudera-manager-installer.bin 接下来所有next和yes就好了，由于所须要的rpm包已经提早下载下来了，这个过程会进行的很是快。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM安装成功

CDH集群安装

CM安装成功后浏览器输入http://ip:7180,ip是CM安装的主机ip或者主机名。显示以下界面，用户名和密码都输入admin，进入web管理界面。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM Web管理界面

若是打不开改网页，请耐心等待会。这个服务启动是须要必定时间的。

选择部署的版本，这里咱们选择免费版的就能够了。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM-选择版本

点击继续 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM-介绍

选择添加的主机。输入主机ip或者主机名，点击搜索。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM-选择主机

这里若是选择一系列主机能够输入以下的内容：

192.168.1.[101-105] slave[1-3].com.cn 勾选要添加的主机，继续下一步操做。

选择存储库 这里咱们采用Parcel离线安装的方式，安装简便、彻底离线并且更便于集群的管理。

CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM-选择存储库

选择咱们以前上传到服务器的CDH5.2.0版本，其余全选无，下一步。

JDK安装选项 这里以前已经安装过了，因此不须要勾选，直接继续。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一

CM－JDK安装 提供SSH登录凭据 因为CDH会自动管理全部主机间的SSH通信，因此咱们以前并无手动配置各个节点间的SSH免密登陆。在这里统一设置就好了，设置好密码点继续。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM－SSH管理

集群安装 由于这里所须要的软件包咱们以前都已经安装过了，这一步会很快结束。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM－集群安装

CDH5安装指南，网友回复：最靠谱的安装指南没有之一 安装完成

安装Parcel到全部主机上 由于Parcel文件已经提早下载好了，第一个进度条会直接显示已下载，而后开始分配。这个过程实际上就是将Parcel内的软件解压缩安装到各个主机上的过程。耐心等待，时间会比较长，我安装2台主机大概是须要20分钟时间。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM－安装Parcel

安装完毕后点继续

CDH5安装指南，网友回复：最靠谱的安装指南没有之一 Parcel安装完毕

主机检查 检查就能够了，建议不要跳过。检查结果以下： CDH5安装指南，网友回复：最靠谱的安装指南没有之一 主机检查

下面这2个都是误报，不须要理会。

CDH5安装指南，网友回复：最靠谱的安装指南没有之一 主机检查2

安装服务 CDH5提供了你可能须要的各类服务，须要什么启动什么就好了。这里我选择了自定义，添加HBase，HDFS，MapReduce和ZooKeeper，这里你们按照本身的需求选。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM－添加服务

角色分配 分配各个节点的角色 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM-角色分配

数据库设置 CDH默认内嵌了一个数据库，若是你须要MySQL或者Oracle请选择使用自定义数据库，点击测试链接，成功后点继续。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM－数据库设置

审核更改 这里所有默认就能够了，直接继续。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM－审核更改

安装完成，初始化 到这里集群已经安装部署完成了，CDH会自动对你选择的服务进行初始化设置，你也能够稍后自行开启。 CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM－初始化

初始化完成后，将进入主页面

CDH5安装指南，网友回复：最靠谱的安装指南没有之一 CM－主页

由于咱们只安装了2台主机，而HDFS和ZooKeeper建议至少3个节点，因此页面上有一些警告，这些都不影响。到此，CDH集群部署完成。

问题汇总

一、安装过程当中遇到如下提示

Detecting Cloudera Manager Server... Detecting Cloudera Manager Server... BEGIN host -t PTR 192.168.1.198 198.1.168.192.in-addr.arpa domain name pointer localhost. END (0) using localhost as scm server hostname BEGIN which python /usr/bin/python END (0) BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182 Traceback (most recent call last): File "", line 1, in File "", line 1, in connect socket.error: [Errno 111] Connection refused END (1) could not contact scm server at localhost:7182, giving up waiting for rollback request 在失败的主机上，终端执行

mv /usr/bin/host /usr/bin/host.bak 而后重试。

二、安装过程一直卡在"正在获取安装锁"

在卡住的主机上，删除/tmp文件夹中的全部scm_prepare_node.开头的文件，清空yum缓存，而后重启主机。

cd /tmp rm -rf scm_prepare_node.* yum clean all reboot 三、安装完毕后NameNode格式化失败，报一下错误

IncorrectVersionException: Unexpected version of storage directory /data/dfs 删除NameNode节点的/data/dfs文件夹，从新添加主机。

四、如何更改节点ip

从新设置每台主机的hosts文件，完成后进入主机界面，点击从新运行升级向导，再走一遍以前的流程便可。

CDH5安装指南，网友回复：最靠谱的安装指南没有之一 写在最后：

码字不易看到最后了，那就点个关注呗，只收藏不点关注的都是在耍流氓！

关注并私信我“架构”，免费送一些Java架构资料，先到先得！