从零搭建生产Hadoop集群（一）——离线安装YUM源搭建

从零搭建生产Hadoop集群（一）——离线安装本地YUM源搭建

• 1、概述
• 2、系统要求
• 3、配置步骤
• 1.下载Cloudera Manager相关安装包
• 2.下载CDH parcel包
• 3.建立YUM仓库
• 1）启动httpd服务
• 3）配置YUM源
• 4）全部须要安装CDH的服务器更新YUM源配置

1、概述

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户管理界面，支持大部分Hadoop组件，包括HDFS、YARN、Hive、 Hbase、Zookeeper、Flume、Impala等，简化了大数据平台的安装、监控和管理。
CDH官方提供了三种安装方式：

1. 第一种方式，要求服务器能连外网，因为CDH等国外的网站容易出现超时链接错误，耗时也较长，且一旦失败重装也很麻烦。
2. 第二种方式，使用Tarballs安装，须要下载不少包，并且须要手动操做安装和配置相关程序。
3. 第三种方式，可实现全离线安装，并且重装十分方便，也有利于后期的集群统一包升级，所以这也是比较推荐的安装方式。

本系列主要详细介绍CDH集群的搭建步骤，而本文则主要介绍CDH软件包本地YUM源的搭建。

2、系统要求

本文基于CentOS7进行部署，Cloudera Manager版本选择5.8.1，CDH版本5.8.0。高版本的CM能够管理低版本的CDH，可是前提是minor version须要一致，不然可能出现兼容性及稳定性风险。若与笔者版本不一，安装包需根据实际下载。

3、配置步骤

1.下载Cloudera Manager相关安装包

其相关安装包的下载路径：
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.8.1/RPMS/x86_64/

注：实际最好在本身的yum仓库中将jdk-6u31包替换为所需版本，本例替换为jdk-7u67-linux-x64.rpm

2.下载CDH parcel包

根据服务器的系统版本选择对应的parcel包版本，本例使用CentOS7，对应的parcel包为el7版本，对应下载路径：
https://archive.cloudera.com/cdh5/parcels/5.8.0/

3.建立YUM仓库

1）启动httpd服务

vim /etc/httpd/conf/httpd.conf

### 2）安装createrepo

yum install createrepo

3）配置YUM源

将前面下载的CM Server、parcel安装包复制到/opt/www/html指定目录中（CM Server目录位于/opt/www/html/cloudera-manager-5.8.1，CDH目录位于/opt/www/html/cloudera-parcel-5.8.0），作成源，执行createrepo后会在该目录中生成repodata目录。

cd /opt/www/html
createrepo cloudera-manager-5.8.1

对于cloudera-parcel-5.8.0作相似操做便可。
配置完后，测试浏览器上是否可以访问响应内容。

4）全部须要安装CDH的服务器更新YUM源配置

/etc/yum.repos.d/cloudera-manager-man.repo

[cloudera-manager]
name=Cloudera Manager
baseurl=http://you-server-ip/cloudera-manager-5.8.1/
enabled = 1
gpgcheck = 0

/etc/yum.repos.d/cloudera-parcel-man.repo

[cloudera-parcel]
name=Cloudera Parcel
baseurl=http://you-server-ip/cloudera-parcel-5.8.0/
enabled = 1
gpgcheck = 0

执行如下命令

yum clean metadata
yum makecache

自此，CDH相关安装包的YUM源已经配置好，为以后的离线安装作好了准备。至于环境的准备及CDH组件的安装，会在接下来的文章中介绍。

欢迎关注个人微信公众号