Hadoop3.x入门：详解虚拟机Ambari2.7.4安装HDP3.1.4（一）

.虚拟机配置

    我这里是用我本身的台式机装了vmware15，而后搞了三台虚拟机，我这里虚拟机配置完成后能够联网，为方便你们学习，我基本都是按照离线安装来说的 ，简单的步骤不讲，只说比较重要的几个步骤：

1.三台虚拟机信息

IP	主机名	备注
192.168.0.101	master.hadoop.ljs	master
192.168.0.102	worker1.hadoop.ljs	worker1
192.168.0.103	worker2.hadoop.ljs	worker2

    安装用户：root

2.vmware虚拟网络编辑器配置,

   

    我本身本地ip信息，打开cmd命令行，执行ipconfig /all查看详细信息，因为我这里台式机装了虚拟网卡，因此这里看的是虚拟网卡对应的IP地址信息，你的可能跟我不同，里面的网段跟上面vmware虚拟网络编辑器中网段配置要一致：

    虚拟机网络配置，如图所示：

3.配置静态IP和DNS(三台机器都作)

    每一个机器配置一个静态IP地址，我这里直接截个图，我建议安装虚拟机的时候，若是宿主机资源充足，最好安装一个带有linux桌面的系统，别最小化安装，会缺乏不少的rpm包，master节点的静态IP配置以下：

master network-scripts]# pwd/etc/sysconfig/network-scripts[root@master network-scripts]# vi ifcfg-eno100

OOTPROTO=noneDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noNAME=eno101  //这里跟你的文件名字保持一致UUID=e896a2cb-d291-4a20-8028-c00a247df533DEVICE=eno16777736  ONBOOT=yesDNS1=192.168.1.1    //DNS必需要有 通常一个就能够了DNS2=192.168.0.1DNS3=10.0.131.28DNS4=10.0.200.25IPADDR=192.168.0.101    //跟你的宿主机在一个网段中PREFIX=24GATEWAY=192.168.0.1IPV6_PEERDNS=yesIPV6_PEERROUTES=yesIPV6_PRIVACY=no

        重启网络：   

systemctl  restart network.servicesystemctl  status  network.service
//可能有些机器还须要执行,个人机器没有执行 systemctl restart NetworkManager systemctl status NetworkManager

4.修改主机名（三台机器都作）

[root@master network-scripts]# cat  /etc/sysconfig/network# Created by anacondaNETWORKING=yesHOSTNAME=master.hadoop.ljs

    /etc/hosts配置：

192.168.0.101  master.hadoop.ljs   master192.168.0.102  worker1.hadoop.ljs  worker1192.168.0.103  worker2.hadoop.ljs  worker2

 

若是修改主机名字不生效，可执行下面命令修改：

hostnamectl set-hostname master.hadoop.ljs

也可参考这里连接进行配置，写的比较详细：

       https://blog.csdn.net/ntuxiaolei/article/details/81130866

2、环境初始化(三台机器都作)

    虚拟机比较简单，主要几个步骤就是安装jdk、ssh免密登、关闭防火墙、关闭透明大页、配置limit打开最大文件数、关闭selinux等；

    

1.我这里下载的jdk1.8而后解压到了/opt下，这里主要安装JCE，由于某些国家的进口管制限制，JDK默认的加解密有必定的限制。好比默认不容许 256 位密钥的 AES 加解密，解决方法就下载官方JCE无限制强度加密策略文件，覆盖便可：

在/etc/profile最后添加JAVA_HOME:export JAVA_HOME=/opt/jdk1.8.0_112export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

    下载jce的两个jar包，资源已放在个人粉丝群里面，ocal_policy.jar、US_export_policy.jar，而后覆盖掉jre自带的jar就能够了，jre自带jar路径，如图所示：

2.ssh免密码登陆，请参考个人文章,写的比较详细：

        连接：ssh免密码登陆步骤

3.关闭防火墙，执行命令：

//关闭防火墙sytemctl stop  firewalld.service//关闭开机自启sytemctl disable firewalld.service

4.关闭Selinux：

vi /etc/selinux/config修改：  SELINUX=disabled

5.修改limits.conf文件，将root用户能打开的最大文件数改成65535

[root@master security]# vi /etc/security/limits.confroot  soft nofile  65535root  hard nofile  65535root  soft nproc  65535root  hard nproc  65535

    

6.yum源搭建，这里只在master节点操做：

//安装httpd服务，yum是依赖httpd服务的，默认端口80 yum install httpd //启动httpd服务，而后你能够访问http://master:80 界面就有东西 //若是界面没东西，那就是你配置错误，你能够看/var/log/httpd下的日志便可systemctl start httpd.service//配置开机自启 systemctl enable httpd.service

    将全部的安装介质都放到/var/www/html中(httpd默认的目录)

[root@master httpd]# cd /var/www/html/[root@master html]# ll总用量 8drwxr-xr-x.  7 root root  4096 3月  13 16:04 ambari-2.7.4drwxr-xr-x. 33 1001 users 4096 3月  13 16:04 HDP-3.1.4drwxr-xr-x.  6 1001 users   88 3月  13 16:04 HDP-UTILS-3.1.4

        配置repo文件，机器若是要访问yum，就须要配置：

[root@master html]# cd /etc/yum.repos.d/[root@master yum.repos.d]# ll总用量 16-rw-r--r--. 1 root root  102 3月  13 16:07 ambari.repo-rw-r--r--. 1 root root 1664 3月  13 13:36 CentOS-Base.repo-rw-r--r--. 1 root root  216 3月  13 16:07 hdp314.repo

    查看ambari.repo、hdp314.repo内容，

        进入目录cd /etc/yum.repos.d/：

[root@master yum.repos.d]# cat ambari.repo [ambari-2.7.4]name=ambari-2.7.4baseurl=http://master.hadoop.ljs/ambari-2.7.4/gpgcheck=0enabled=1

[root@master yum.repos.d]# cat hdp314.repo [HDP-3.1.4]name=HDP-3.1.4baseurl=http://master.hadoop.ljs/HDP-3.1.4path=/enabled=1gpgcheck=0
[HDP-UTILS-3.1.4]name=HDP-UTILS-3.1.4baseurl=http://master.hadoop.ljs/HDP-UTILS-3.1.4path=/enabled=1gpgcheck=0

3、Mysql安装（其中一台安装便可）

1.首先清除CentOS7系统中默认的数据库mariadb，不然不能安装mysql

rpm -qa |grep mariadb |xargs yum remove -y

2.下载MySql的相关rpm包;下载mysql5.6，系统选择redhat,版本选择RHEL7，下载RPM Bundle后获得一个tar文件。这里获得文件MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar，接下来解出文件

tar -xf MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar

yum localinstall -y install MySQL-{server,client}-*

3.安装完成后会生成随机密码到cat /root/.mysql_secret，可直接启动mysql服务

service mysql start

4.接下来便可经过命令行登陆了，咱们须要修改密码

mysql -uroot -p

5.登录后使用以下命令便可修改root密码

SET PASSWORD FOR 'root'@'localhost' = PASSWORD('bigdata');

6.远程登陆受权，我这里为了方便授予全部权限，你根据本身状况受权：

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> flush privileges;

7.这里为了后面hive、ranger、ambari使用mysql做为元数据库，这里提早新建了四个数据库ambari、hive、ranger：

4、ambari-server安装配置

1.安装ambari-server

yum install ambari-server

2.配置ambari-server信息，详细配置如图所示：

  上面配置中须要你在ambari元数据库中执行/var/lib/ambari-server/resources目录下的文件Ambari-DDL-MySQL-CREATE.sql进行ambari的初始化，我这里直接经过客户端执行的：

 

3.ambari-server启动

ambari-server start

    若是启动报错，可查看ambari-server的日志，默认路径是/var/log/ambari-server/,通常报错信息在ambari-server.log、ambari-server.out两个文件中。