记录下使用Ambari部署HDP集群的过程

时间 2021-08-15

由于公司的业务需求，需要在公司的测试环境上搭建一套HDP集群，当然搭建工具还是首选集群管理神器 Ambari。

本次环境搭建采用的是YUM源离线的安装方式。(因为Ambari的rpm包和HDP的rpm包很大，加起来一共得有11个G左右)

首先先说明下本次搭建环境：

共3个节点，6G内存。

Linux系统使用的是centos6.5

ambari版本为2.4

HDP版本为2.4.2

HDP-UTILS-1.1.0.20

以下是资源的下载路径：

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.0.1/ambari.repo

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.18-1/ambari-2.2.2.18-centos6.tar.gz

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.2.0/HDP-2.4.2.0-centos6-rpm.tar.gz
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz

在安装之前请先把这三个文件下载下来。

下面开始进行安装：

进行安装前准备环境的设置：

1、首先保证集群之间的映射关系配置完整：vi /etc/hosts 中把所有的节点都添加到hosts文件中。

2、关闭防火墙

集群之间必须关闭防火墙。将每台机器的防火墙关闭。

关闭防火墙命令: chkconfig iptables off

3、配置ssh免登陆。在每台机器上执行ssh-****** -t rsa

生成ssh秘钥后将秘钥拷贝给自己 ssh-copy-id 主机名

在每台机器上都生成秘钥以后，就将秘钥拷贝给自己。然后执行下ssh 主机名 ,查看ssh是否生效。将秘钥拷贝给自己后，到主节点上，将master的秘钥拷贝到从节点。拷贝方式是一样的。ssh-copy-id 从节点机器名。(只有将master的秘钥拷贝过去，才能够登录到其他机器)。拷贝完成后同样测试下，看能否登录到其他节点。

4、关闭selinux

在每台机器上都得关闭selinux。找到selinux的配置文件 vi /etc/selnux/config ，修改完成后重启生效。

5、进行时间同步，启动NTP服务。(详细参考本人写的Linux下ntpd进行时间同步 http://blog.csdn.net/wsnbbdmm/article/details/77822031)

以下操作均在主节点上操作：将主节点作为时间服务器。

采用ntp服务来进行时间同步。在配置之前应该先查看是否有此服务。 rpm -qa | grep ntpd

如果没有的话就采用yum源安装 yum install ntpd，安装成功后查看服务是否启动 service ntpd status

然后开始编辑ntpd的配置文件： vi /etc/ntp.conf 修改图中的几个地方。

修改完成后重启。然后在其他节点上进行时间同步。使用命令 ntpdate 主机名进行时间同步。

6、查看机器上是否安装有httpd服务。如果没有的话使用yum install httpd安装。

查看是否启动。如果没有启动的话请启动。

7、安装mysql。mysql作为ambari工具元数据的存储。安装的具体方式请参考本人的博客----linux中安装mysql方式。

在mysql中创建库ambari，创建用户 ambari和密码ambari。并给用户授权ambari库(名字随意)

create database ambari;
create user 'ambari'@'%' identified by 'ambari';
grant select,insert,update,delete,create on ambari.* to ambari;
grant all privileges on ambari.* to [email protected]'%' identified by 'ambari'
grant all privileges on ambari.* to [email protected]'192.168.108.128' identified by 'ambari'

flush privileges

下面开始安装ambari：

先将ambari的安装包解压，tar -zxvf 命令解压到 /var/www/http/目录下边。并且重命名 mv ./Ambari-2.4.0.1 ./ambari

修改ambari的yum源文件 ambari.repo文件。主要修改Baseurl和gpgkey两个地方。将url指向你解压路径。/var/www/html/ambari/centos6/2.4.0.1.1-1下就可以了

将ambari.repo文件上传到yum源路径下 /etc/yum.repo/下。然后启动httpd服务。service httpd start （如果启动则不需要此步骤）

然后在浏览器输入你的主机ip端口80访问 http://192.168.1.1:80/ambari 访问你的本地仓库.

到此。离线仓库配置完成。

离线仓库配置完成后就可以采用yum install ambari-server的方式安装ambari服务了。