CDH使用之CDH 5.3.x安装

前言：CDH是由Cloudera公司发行的Hadoop版本，全称（Cloudera's Distribution Including Apache Hadoop）。该版本基于原生Apache Hadoop版本进行改进，添加了补丁和自行开发的组件，更加稳定易用。而且Cloudera公司已将CDH开源，能够不依靠CM也能够进行独立安装，目前来看在国内市场占有比重较大。本文采用CM方式进行安装，安装环境为CentOS6.5，暂不介绍独立安装方式安装。

安装准备 介质准备

• 
  
  

• 
  
  

本文采用parcel包方式安装，须要下载相关的3个文件。

parcel包地址：http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/

须要下载以下三个文件

若是采用rpm方式安装，地址为：

http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/

系统配置

• 
  
  

a) 用户建立

CDH安装建议使用普通用户进行安装，使用root用户安装也能够，安装完成以后若是有其余新普通用户须要使用时，添加到对应的hadoop用户组(默认组为supergroup)便可。

建立用户

# useradd <用户名称>

修改密码

# passwd <用户名称>

b) host配置

安装CDH集群以前，必须配置hosts,将须要添加到集群中的机器配置到hosts中：

    # vi /etc/hosts

安装
安装方式选择

• 
  
  

• 
  

  CDH经过CM能够选择的安装方式有采用rpm方式和parcel包方式（官方建议采用parcel包方式安装，便于后期升级维护），本文介绍parcel包方式。安装基于CM安装（CM安装部分请参看CDH使用之CM 5.3.x安装）
  

  
  

二、启动http服务

采用parcel包方式安装不须要建立repo文件，浏览器能够访问该地址便可。

启动http 服务

# service httpd start

查看http服务状态

# service httpd status

三、开始安装

    此处从CM安装完毕首次打开7180端口界面开始进行安装：

添加主机IP地址，hostname也能够（主机较多状况下能够填crxy[171-179]）,而后点击搜索。

搜索到主机选择须要安装CDH的主机以后点击继续：

添加本地parcel包地址（添加时删除其余默认网络地址），其余存储路径默认。

此处若是没有刷新出对应的CDH版本，检查是否能正常访问parcel包相关3个文件，若是能够正常访问可是仍然没有正常刷新的状况能够重启CM server服务，到cm所在机器执行以下命令:

重启cm server

service cloudera-scm-server restart

重启cm agent

service cloudera-scm-agent restart

点击继续：

开始走进度条，等待一段时间（建议配置内网ip）：

安装完成：

往主机上分配parcel包：

安装完成后开始分配服务组件， 选择自定义（可根据实际须要进行选择）：

服务节点分配（根据主机硬件配置合理配置）：

填写存储目录，点击继续开始首次分配服务：

安装完成以后调转到主页面

服务显示红色的状态，须要添加NTP server时间同步，不适用CDH的时间同步方式关掉便可。如图方式关闭，保存：

状态以下，安装完成。

若是使用普通用户进行安装，主机上切换为普通用户以后，为方便使用hadoop shell命令，可使用以下方式在hdfs上建立对应的用户（用户名一致）：

建立hdfs用户

sudo -u hdfs hadoop fs -mkdir /user/test11

为hdfs用户赋权

sudo -u hdfs hadoop fs -chown -R test11:test11 /user/test11

四、错误定位

注意：若是安装失败，须要到/etc/yum.repos.d/目录查看是否有多余的repo文件生成，repo文件内容是否正确，而后在点击重试。

CM安装部分请参考 CDH使用之CM 5.3.x安装。

更多精彩内容请关注：http://bbs.superwu.cn

关注超人学院微信二维码：