cloudera manager5.13.1离线安装记录

官网介绍了三种安装方式，

A方式用于非生产环境自动安装，B是package安装，C是tar包安装

由于习惯等因素，我选择了使用tar包安装。现将安装过程当中遇到的问题记录下来，也给有须要的人提供个参考。

具体的操做过程参考官方文档https://www.cloudera.com/docu...
以及如下几个参考文章：
http://www.cnblogs.com/jasond...
http://blog.csdn.net/a921122/...

注：文章中部分图片使用的是安装5.13.0版本时的图片，可是操做是同样的，请不要纠结这些细节。

大概的流程以下：

1、准备：

一、修改主机名，设置集群host

修改主机名，并使之生效
修改：vim etc/sysconfig/network

使之生效：source etc/sysconfig/network
统一设置集群host(修改集群中每一个节点的hosts文件)：vim /etc/hosts

二、时间同步

使用ntp服务，使集群中节点的时间一致。两种同步方式：
    2.一、分别跟时间服务器进行时间同步。
    2.二、主从模式：设置其中一台为master,对外时间同步，其余保持跟master时间同步。
    若是条件容许，最好使用后者。

三、设置防火墙

网上的作法通常是关闭防火墙，实际应用中每每不能直接关掉。可设置防火墙规则，消除内网之间的隔离。具体使用哪一种方式，根据自身状况决定。
3.1:关闭防火墙
    即时生效，重启后会复原：`service iptables stop` 
    永久生效：`chkconfig iptables off`
3.2:设置防火墙规则，容许内网间访问。
    修改：在/etc/sysconfig/iptables中加入`-A INPUT -s 192.168.1.0/24 -j ACCEPT` ，192.168.1.0/24更改成本身的网段/子网掩码位数。
    重启防火墙：`service iptables restart`

四、设置集群免密登陆

4.1 检测本地是否能够免密登陆
    执行：ssh localhost，如不须要输入密码，则可免密登陆
4.2 建立登陆的公钥和私钥
    执行：`ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa`
    公钥放在id_dsa.pub中，私钥放在id_dsa中
4.3 本地免密登陆
    将公钥追加到已认证信息中：`cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys` 
4.4 跨主机免密登陆
    在host28上执行：`scp ~/.ssh/id_dsa.pub root@host29:~/.ssh/`, 输入host29的密码
    在host29上执行：`cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys` 将公钥追加到已认证信息中
4.5 在全部节点上执行上述操做

4.6 失败记录：都设置好后仍是不能免密登陆。查看日志less /var/log/secure
    失败缘由：Authentication refused: bad ownership or modes for directory /root

查找问题，发现root文件夹的全部者和用户组改变了

执行命令：chown root.root /root/  改回来就能够了

五、安装jdk
注意安装oracle jdk，非openjdk。
具体操做参考https://segmentfault.com/a/11...

2、安装cm

一、下载
去官网下载安装包，官网地址：https://www.cloudera.com/docu...

在下载页面找到对应环境的安装包地址：

wget https://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.13.1_x86_64.tar.gz

二、解压并移动到安装目录
解压tar包：tar -zxvf cloudera-manager-el6-cm5.13.1_x86_64.tar.gz

解压后有cloudera和cm-5.13.1两个目录
移动这两个目录到安装目录下，如/opt: mv cloudera cm-5.13.1 /opt/

三、准备cdh安装包（共三个文件）
下载地址：http://archive.cloudera.com/c...

wget http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel
    wget http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1
    wget http://archive.cloudera.com/cdh5/parcels/latest/manifest.json

把安装包放到/opt/cloudera/parcel-repo/目录下：`mv CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha manifest.json /opt/cloudera/parcel-repo/`
并修改CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1名称为CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha，不然识别不到，选择CDH版本的时候看不到：`mv CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1 CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha`

四、准备mysql connector

官网：https://dev.mysql.com/downloads/connector
下载：`wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz`
解压：`tar -zxvf mysql-connector-java-5.1.45.tar.gz`

放到/usr/shara/java目录下（先查看目录是存在，不存在先建立目录）：`cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar`
或者放到目录/opt/cm-5.13.1/share/cmf/lib/下。
前者安装hive的时候能够直接使用，后者会找不到，须要再执行一次命令：`cp /opt/cm-5.13.1/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hive/lib/`

五、配置agnent ：vim /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini

server_host为cm server的主机名或ip
server_port为server的通信端口，默认为7182

六、 复制agent到其余节点

scp -r /opt/cm-5.13.1 host30:/opt

七、在全部节点上建立用户cloudera-scm

useradd --system --home=/opt/cm-5.13.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

八、 设置数据库信息

8.1 在mysql上新建数据库：cmf（cloudera manage数据库）、hive（hive数据库）、amon（cloudera Acrivity Monitor使用）、rman（cloudera Reports Manager使用）

8.2 设置cmf链接信息：`/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql -hhost29  --scm-host host28  cmf usrname password`

    命令说明：/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 --scm-host cm主机  数据库名称  用户名  密码
    
    具体参数可参看官网[https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html#concept_i2r_m3m_hn__section_qjj_pyp_bm][3]
    
8.3 查看配置文件，发现信息已写入：`vim cm-5.13.1/etc/cloudera-scm-server/db.properties`

九、启动
启动server: /opt/cm-5.13.1/etc/init.d/cloudera-scm-server start

启动agent: /opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start

3、安装群集

一、 登陆cm

在浏览器输入http://192.168.5.28:7180登陆cm（ip替换为cm server主机ip，端口为server的http服务端口，默认为7180），用户名密码均为admin

二、 选择要安装的cm版本

选择免费或者试用版均可以，若是没有用到高级功能 ，试用版到期也没什么影响，可继续使用。

三、 群集安装

各个节点正常启动后，能够在当前管理的主机列表中看到对应的节点。选择你要使用的节点就能够了，基本上全选。

选择CDH版本这里会显示你放在/opt/cloudera/parcel-repo/下的parcel包，若未显示，则检查CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1是否名称未改成CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha，修改以后重启server服务和agent服务。

这里第一个和第二个警告，按页面提示的设置方法设置便可，第三个警告是jdk版本不对，不能使用openjdk，须要oracle jdk。

每一个节点上都设置一下：

执行：`echo 10 > /proc/sys/vm/swappiness`
并编辑文件sysctl.conf：`vim /etc/sysctl.conf`,添加或修改vm.swappiness = 0

执行：
    echo never > /sys/kernel/mm/transparent_hugepage/defrag 
    echo never > /sys/kernel/mm/transparent_hugepage/enabled 
并编辑文件rc.local ：`vim /etc/rc.local`

若安装过程当中中断，再次继续安装时，可能出现主机受管状况：

此时中止全部cm服务，删除cmf数据库，从新初始化cmf数据库便可。
删除数据库：进入mysql，执行drop database cmf;
卸载挂载点：umount cm-5.13.1/run/cloudera-scm-agent/process
清除所欲节点的agent uuid信息：rm -rf cm-5.13.1/lib/cloudera-scm-agent/*

注意：必定要先卸载挂载点，不然会提示没法删除：rm: 没法删除"cm-5.13.1/run/cloudera-scm-agent/process": 设备或资源忙

选择要安装的服务，可直接选择组安装，或自定义安装

填写事先建好的数据库信息

继续操做，保持默认选项便可。

注意： 若修改了hdfs的存储文件夹，必定要肯定文件夹已经存在，并确保访问权限。否侧hdfs会没法启动，而且报错文件夹不存在。

3、安装或使用过程当中遇到的问题

一、No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.

在安装 NFS Gateway那个节点上安装rpcbind:
    安装：`yum install rpcbind`
    启动：`service rpcbind start`

二、

在安装Hive Metastore Server服务的那台机器上操做:
    cp /opt/cm-5.13.1/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hive/lib/