Ambari在线部署hdp

1 集群配置

1.1 集群组成

本次部署总共有4个节点，以下所示：

主机ip	主机名	操做系统	Cpu （每一个2核）	内存	做用
192.168.1.70	h70.hdp.ap	Centos6.5	1个	4g	部署ambari
192.168.1.71	h71.hdp.ap	Centos6.5	2个	3g	hdp部署节点1
192.168.1.72	h72.hdp.ap	Centos6.5	2个	3g	hdp部署节点2
192.168.1.73	h73.hdp.ap	Centos6.5	2个	4g	hdp部署节点3

    按照上述表中的主机名在对应的机器上修改它们的hostname，方法以下所示：

    在/etc/sysconfig/network中修改hostname项，修改完后重启生效，/etc/sysconfig/network内容以下所示：

    而后修改机器的/etc/hosts文件，将每一个机器的hostname和ip对应起来，将修改后的/etc/hosts文件复制到集群中的每台机器，操做以下所示：

1.2 配置ssh无密码登陆

    由于在ambari和hdp部署过程当中，ambari和hdp部署的节点都有可能互相访问，因此建议四个节点中的每一个节点之间均可以ssh无密码登陆，包括它们本身登陆到本身。

    在每一台机器上执行以下操做，首先查看该用户根目录下的.ssh文件夹中是否有id_rsa文件，若是没有执行ssh-keygen命令，一路回车，而后查看生成的文件，为了不以后的麻烦，建议将该目录下全部文件的权限修改为600，本文档部署在h71机器上的操做以下所示，其余机器相似：

    为了实现A节点无密码登陆到B节点，须要将A节点的.ssh/id_rsa.pub文件内容添加到B节点的.ssh/authorized_keys文件中，下面给出了h72节点无密码登陆到h70节点的方法，用相似的方法实现他们之间任意两个节点的无密码登陆。

    首先将h72节点的.ssh/id_rsa.pub文件拷贝到h70节点上，注意不要放到.ssh文件夹中，这样会覆盖h70节点上的.ssh/id_rsa.pub文件，操做以下所示：

    首先将拷贝到h70节点上的id_rsa.pub文件内容添加到.ssh/authorized_keys文件中，操做以下所示：

 

    至此完成了h72节点无密码登陆h70节点，测试以下：

 

    接下来用相似的方法实现他们之间任意两个节点的无密码登陆。

1.1 配置ntp服务

    由于hdp中有服务须要集群的时间同步，因此集群中的每个机器须要安装启动ntp服务保证集群时间的一致，安装启动以下所示：

    在集群中的每台机器完成上述操做。

1.4 关闭防火墙服务

    由于集群中的线程之间须要互相通讯，因此须要合理配置防火墙，最简单的方式是直接关闭防火墙。操做以下所示：

 

1.5 配置selinux和umask

    为了不引发没必要要的麻烦，关闭集群节点上的selinux服务，而后重启，操做以下所示：

 

    若是机器安装了PackageKit，在/etc/yum/pluginconf.d/refresh-packagekit.conf中将其关闭，操做以下：

 

    确保集群中节点的umask值为022，操做以下：

 

2 准备部署软件

2.1 Jdk下载安装部署

    若是机器没有java环境，在安装ambari和hdp过程当中，yum会自动从网上下载jdk-7u45-linux-x64.tar.gz，若是网速很快的话，能够在线获取。本文档部署手动下载java包，用的是/jdk-7u67-linux-x64.tar.gz，下载地址为http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gz，下载完后，必须放在集群每一个节点的相同目录，而后解压，操做过程以下图所示：

 

2.2 Ambari和HDP下载配置

    本文档部署所用的软件为：

    1. ambari-1.6.1-centos6.tar.tar，下载地址为http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.6.1-centos6.tar.gz；

    2. HDP-2.1.5.0-centos6-rpm.tar.tar，下载地址为http://public-repo-1.hortonworks.com/HDP/centos6/HDP-2.1.5.0-centos6-rpm.tar.gz；

    3. HDP-UTILS-1.1.0.17-centos6.tar.tar，下载地址为http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.17/repos/centos6/HDP-UTILS-1.1.0.17-centos6.tar.gz。手动下载所需的上述软件；

    将下载的ambari-1.6.1-centos6.tar.tar、HDP-2.1.5.0-centos6-rpm.tar.tar、HDP-UTILS-1.1.0.17-centos6.tar.tar软件放到部署ambari的机器的/var/www/html目录下（该机器必须先安装httpd服务，而且启动httpd服务），而后解压，操做以下所示：

    在改机器上添加/etc/yum.repo.d/ambari.repo文件，它的内容以下所示，其中的192.168.1.70的ip地址要换成部署ambari那台机器的ip：

 

    在改机器上添加/etc/yum.repo.d/hdp.repo文件，它的内容以下所示，其中的192.168.1.70的ip地址要换成部署ambari那台机器的ip：

 

    而后将配置好的/ambari.repo 和hdp.repo文件复制到集群中的其余节点，操做以下所示：

 

2.3 Ambari安装部署

    在安装ambari的机器上执行yum install ambari-server命令，操做以下所示:

 

    没有报错的话，ambari-server安装成功，接下来执行ambari-server setup  -j /usr/local/jdk1.7.0_67命令，启动-j后面的操做指定jdk安装的位置，操做以下：

 

    接下来用ambari-server start命令启动ambari-server，用ambari-server stop命令关闭ambari-server，用ambari-server status命令查看ambari-server的启动状态，操做以下：

 

2.4 HDP安装部署

    Ambari-server启动成功后，能够经过http://{your.ambari.server}:8080访问，用户名和密码都是admin，访问界面以下所示：

 

    用admin登陆，出现以下界面，接下来能够安装hdp，首先命名集群，选择下一步，操做以下所示：

    而后选择安装的hdp的版本，本次部署用HDP2.1，因此选择HDP2.1，点开下面的“Advanced Repository Options”，选择操做系统对应的选项，本次部署选择redhat6，修改其中“HDP-2.1”和“HDP-UTILS-1.1.0.17”指向的地址，修改为/etc/yum.repos.d/hdp.repo中它们指向的地址，本次部署“HDP-2.1”指向“http://192.168.1.70/HDP/centos6/2.x/updates/2.1.5.0”，“HDP-UTILS-1.1.0.17”指向“http://192.168.1.70/HDP-UTILS-1.1.0.17/repos/centos6”，而后点击下一步：

    而后在“Target Hosts”方框中填写部署hdp的集群，本次部署填写以下；还须要指定部署ambari机器的“SSH Private Key”，点击“选择文件”按钮，找到部署ambari机器上的“~/.ssh/id_rsa”文件，或者将该文件的内容复制到对应的方框中，而后点击“Register and Confirm”按钮：

    接下来会进行集群的注册和验证，出现下述画面表明成功，能够点击“Status”栏中的“Success”或者“Failed”查看日志，以下图所示：

    日志显示以下图所示：

 

    接下来下一步，显示“选择服务”界面，默认是全选，能够根据本身机器的配置和须要选择服务，本次部署所有选择，以下图所示：

 

    而后点击下一步，接下来显示的是“指定主节点”的界面，这个根据实际状况在下拉菜单中选择，尽量均匀分配，以下图所示：

    而后点击下一步，接下来显示的是“指定从节点和客户端”的界面，这个根据实际状况选择服务，尽量均匀分配，以下图所示：

 

    而后点击下一步，接下来显示的是“配置服务选项”的界面，这个根据机器性能配置，以下图所示：

 

    其中旁边显示红色小圆圈带数字的表示此项服务中的某些项必须配置，其中的“Hive”、“Oozie”和“Nagios”项中须要设置密码和email，点开进行配置，操做以下：

 

    而后点击下一步，接下来显示的是“复查”界面，显示了集群配置服务的状况，没有问题，点击“部署”按钮，以下图所示：

 

    接下来进入“安装、启动、测试”界面，以下图所示：

    在“安装、启动、测试”过程当中，随时能够点击“Message”栏中的项查看日志，日志显示了部署的进展状况，以下图所示：

 

    下图截取了几张部署过程当中的图，仅供参考：

    出现下面画面表示“安装、启动、测试”成功：

   而后点击下一步，显示的是“部署状况”界面，以下图所示：

 

    而后点击“完成”按钮，进入ambari管理界面，以下图所示：

 

3 部署注意事项

3.1 重启注意检查防火墙

    每次机器重启后，检查下防火墙的状态，若是防火墙开着，必定要执行关闭命令，操做以下：

 

3.2 更新openssl

    Centos6.5自带的openssl-1.0.1e-15.el6_5.x86_64在部署过程当中会出现“error:100AE081:elliptic curve routines: EC_GROUP_new_by_curve_name: unknown group”的错误，更新openssl便可，操做以下所示：

 

    操做成功后查看openssl的版本更新了，以下图所示：

 

    也有不少问题是由这个openssl版本不兼容引发的，以下图在“Register and Confirm”步骤中出现问题，也与这个问题有关，建议更新下：