Cloudera CDH 离线安装与使用

CDH 在线安装方法以下，方便，可是因为在国内，访问这个网站的速度很慢，并不快捷。

在线安装Cloudera Manager服务器

 

# 配置cloudera-cdh源和cloudera-manager源

# cloudera-manager

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

# cloudera-cdh

wget https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo

# 安装jdk和cloudera-manager

sudo yum install cloudera-manager-daemons cloudera-manager-server -y

 

而后就能够访问IP:7180经过网页进行操做了。然而实际状况是，在线安装，很慢很慢……

 

咱们使用离线安装的方式进行：

1、基础环境准备

1. 相关包的下载地址： 

Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/ 

下载对应的文件，我下载的是：cloudera-manager-el6-cm5.13.3_x86_64.tar.gz

2. CDH安装包地址：http://archive.cloudera.com/cdh5/parcels

因为咱们的操做系统为CentOS6.5，须要下载如下文件,找到对应的版本： 

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1

manifest.json 

 

3. 准备JDBC，等下链接mysql会用到：

http://download.softagency.net/MySQL/Downloads/Connector-J/

 Updated on 20180727

Mysql jar链接已经失效,能够在下面网站下载最新的jar包

https://dev.mysql.com/downloads/file/?id=477054

4. 所有须要的软件下载完，算上mysql jar一共是5个文件

cloudera-manager-el6-cm5.13.3_x86_64.tar.gz
CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel 
CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1 
manifest.jso
mysql-connector-java-5.1.35-bin.jar

5. 准备JDK

tar -zxvf jdk1.7.0_79.tar.gz -C /usr/local/jvm
cat /etc/profile
export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6. 安装设置NTP

6.1 yum install ntp

cat /etc/ntp.conf
driftfile /var/lib/ntp/drift   
restrict default kod nomodify notrap nopeer noquery 
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1 
restrict -6 ::1  
restrict 192.168.206.0 mask 255.255.255.0 nomodify notrap 
 server 0.centos.pool.ntp.org iburst 
 server 1.centos.pool.ntp.org iburst 
 server 2.centos.pool.ntp.org iburst 
 server 3.centos.pool.ntp.org iburst

6.2启动 ntp：

$ service ntpd start

6.3 设置开机启动:

$ chkconfig ntpd on

 

6.4 检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就表明成功。

6.5能够经过如下命令先进行时间同步：

ntpdate us.pool.ntp.org

6.6在两个slave节点上执行便可

ntpdate -u bigdata1

7. 关闭防火墙，selinux等。

2、环境准备完成，开始安装CDH

CDH的安装，建议用root完成，后面有不少须要CDH建立目录。用户等操做。

 

1. 解压CM到每一个节点/opt的路径下

tar -zxvf cloudera-manager-el6-cm5.13.3_x86_64.tar.gz -C /opt

下载的mysql-connector-java.jar拷贝到每一个节点

cp  mysql-connector-java-5.1.35-bin.jar /opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar root@bigdata2:/opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar root@bigdata3:/opt/cm-5.13.3/share/cmf/lib/

2. 安装mysql，并准备相关用户，注意用户建立过程当中，要给予with grant option权限，否则后面会报错

 

2.1安装MySQL的yum源，下面是RHEL6系列mysql5.6的下载地址：

 rpm -ivh http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm

2.2 yum安装

yum install mysql-community-server -y

2.3 建立用户和赋权

grant all privileges on *.* to root@'localhost' identified by 'root' with grant option;
grant all privileges on *.* to root@'%' identified by 'root' with grant option;
grant all privileges on *.* to scm@'localhost' identified by 'scm'  with grant option;
grant all privileges on *.* to scm@'%' identified by 'scm'  with grant option;

3. 在主节点初始化CM5的数据库：

/opt/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hbigdata1 -uroot -proot --scm-host bigdata1 scm scm scm

  参数解释：数据库类型 数据库名称 数据库主机名 数据库用户名 密码 --scm-host cmserver主机名 scm scm scm

 

4. Agent配置 

修改/opt/cm-5.13.3/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。 否则agent没法找到server端。

4.1同步软件到所有的Agent节点：

scp -r /opt/cm-5.13.3 root@node2:/opt/

5. 在全部节点建立cloudera-scm用户

useradd --system --home=/opt/cm-5.13.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false  --comment "Cloudera SCM User" cloudera-scm

6. 准备Parcels，用以安装CDH5 

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo须要手动建立）。 

相关的文件以下：

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1 

manifest.jso

 

最后将CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1，重命名为CDH-5.7.1- CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha，这点必须注意，不然，系统会从新下载CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1文件。 

Updated 20180727

本来这个地方好不容易发现,去掉"1"的方法安装.如今安装,发现"1"要保留的.CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1名字保持不变,才能够.

7. 相关启动脚本 

经过/opt/cm-5.13.3/etc/init.d/cloudera-scm-server start启动服务端。 

经过/opt/cm-5.13.3/etc/init.d/cloudera-scm-agent start启动Agent服务。

(全部节点都要启动Agent服务，包括服务端)

咱们启动的实际上是个service脚本，须要中止服务将以上的start参数改成stop就能够了，重启是restart。

安装到此处，能够考虑备份vmware虚拟机，后面CM的部署过程当中，遇到错误，能够会滚到当前状态调整。

 

3、CDH5的安装配和集群配置

1. Cloudera Manager Server和Agent都启动之后，就能够进行CDH5的安装配置了。 

2. 这时能够经过浏览器访问主节点的7180端口测试一下了（因为CM Server的启动须要花点时间，这里可能要等待一会才能访问页面，可能须要3-5分钟），默认的用户名和密码均为admin

 

3. 登录后，会进入到欢迎/受权页面

 

4. 选择受权版本，这里选择“免费版本”

 

5. 若是前面的的配置都是正确的，而且agent都启动成功，这里“当前管理的主机”中，是能够看到所有节点的。注意：防火墙必定要关闭，否则会出现，agent节点，不能被发现的状况。

 

6. 前面已经将软件包放到目录/opt/cloudera/parcel-repo，这里就能够直接看到本地的包。

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha 

manifest.json

 

 

7. 点击“继续”，到集群安装，这个会比较快，大概10分钟完成。若是是在线安装，这个要几个小时，甚至下载失败。

 

8. 根据提示，修复一些前面没有配置好的项目，而后从新检查。建议解决所有报错，防止后续使用有诡异的问题发生。

 

 

9. 这里，我遇到的两个问题：

9.1.JDK没法被识别，运行以前保证JDK路径能被识别。

9.2.须要已经安装perl软件包

yum install -y perl

10. 选择须要安装的组合，也能够选择自定义，后续单独安装每一个组件

11. 选择每一个角色，须要部署在哪个机器上

12. 选择须要使用到mysql的组件，在mysql中建立的db、用户名、密码等

13. 安装完成以后。

14. 安装完成后，就能够进入集群界面看一下集群的当前情况了。 

这里可能会出现没法发出查询：对 Service Monitor 的请求超时的错误提示，若是各个组件安装没有问题，通常是由于服务器比较卡致使的，过一会刷新一下页面就行了,根据实际状况调整配置便可：

15. 另外若是想添加新的主机，必需要先启动新主机上的agent服务，不然新主机不能被发现，要从新下载cm-agent，很麻烦。安装新的节点之后，记得运行"部署客户端"命令。

4、问题汇总

问题1

CDH环境搭建好以后，访问Oozie管理页面时，出现以下问题：

 

 

解决方法：

根据提示，咱们能够发现缺乏Ext JS library，咱们能够点击给出的网址连接：

Oozie Quick Start

 

找到以下内容：

 

而后找到ExtJS2.2下载，下载完成后上传到CDH的服务器的目录/opt/cloudera/parcels/CDH/lib/oozie/libext/下面。

具体操做以下：

cd /opt/cloudera/parcels/CDH/lib/oozie/libext

unzip ext-2.2.zip

chown oozie:oozie -R ext-2.2

如今这个官网，已经不提供下载ext-2.2.zip，若是下载，请点击连接：

而后咱们再次访问页面就能够了。