大数据平台搭建-基础环境安装

本系列文章主要阐述大数据计算平台相关框架的搭建，包括以下内容：

• 虚拟服务器安装
• 基础环境安装
• zookeeper集群的搭建
• kafka集群的搭建
• hadoop/hbase集群的搭建
• spark集群的搭建
• flink集群的搭建
• elasticsearch集群的搭建
• alluxio集群的搭建

本文主要阐述基础环境的安装，主要是服务器间免密登陆，java安装和scala安装。 #免密登陆

因为后续涉及到各类软件的安装，毫无疑问会用到服务器间的文件传输，为了后续再也不重复输入密码，同时搭建Hadoop环境均须要设置无密码登录。所谓无密码登录实际上是指经过证书认证的方式登录，使用一种被称为"公私钥"认证的方式来进行ssh登陆。
" 公私钥"认证方式简单的解释:首先在客户端上建立一对公私钥 （公钥文件：~/.ssh/id_rsa.pub； 私钥文件：~/.ssh/id_rsa）。而后把公钥放到服务器上（~/.ssh/authorized_keys）, 本身保留好私钥.在使用ssh登陆时,ssh程序会发送私钥去和服务器上的公钥作匹配.若是匹配成功即登陆。
操做前确认系统已经安装了SSH。

rpm –qa | grep openssh
rpm –qa | grep rsync

若是没有安装ssh和rsync，能够经过下面命令进行安装。

yum install ssh -->安装SSH协议
yum install rsync -->rsync是一个远程数据同步工具，可经过LAN/WAN快速同步多台主机间的文件
service sshd restart -->启动服务

资源列表以下：

<table> <tr>

<td>主机名</td>
<td>ip地址</td>

</tr> <tr> <td>bigdata1</td> <td>192.168.220.200</td> </tr>

<tr> <td>bigdata2</td> <td>192.168.220.201</td> </tr>

<tr> <td>bigdata3</td> <td>192.168.220.202</td> </tr>

<tr> <td>bigdata4</td> <td>192.168.220.203</td> </tr>

<tr> <td>bigdata5</td> <td>192.168.220.204</td> </tr> </table>

主机名的设置，请参考虚拟服务器安装。

结合公私钥的定义，要设置这5个主机间的免密登陆过程以下：

1. bigdata一、bigdata二、bigdata三、bigdata四、bigdata5各自生成公钥id_rsa和私钥id_rsa.pub
2. 而后选择其中一个节点(bigdata1,可随意选择)当作主节点，将其余四个节点的公钥(bigdata二、bigdata三、bigdata四、bigdata5)的文件传送到bigdata1
3. 利用全部服务器的公钥制做认证文件authorized_keys
4. 修改认证文件的权限，并下发到全部节点便可。

##设置hosts 切换至root用户，编辑hosts文件

su root
vi /etc/hosts

设置完成后内容以下：

[root@bigdata1 oracle]# cat /etc/hosts
127.0.0.1      localhost localhost.localdomain localhost4 localhost4.localdomain4
::1            localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.220.200  bigdata1
192.168.220.201  bigdata2
192.168.220.202  bigdata3

192.168.220.203  bigdata4
192.168.220.204  bigdata5
[root@bigdata1 oracle]#

##生成密钥 bigdata一、bigdata二、bigdata三、bigdata四、bigdata5各个节点均需执行。

• 切换到主目录，查看是否存在.ssh文件夹(用来存放密钥的)，若是没有，能够建立或者尝试从本机登陆到其余主机则会自动生成该目录。

  cd ~
    mkdir .ssh

• 切换至.ssh目录

  cd ~/.ssh

• 生成密钥，输入以下命令，而后连续按回车键

  ssh-keygen -t rsa -P ""

操做完成后结构以下

[root@bigdata1 .ssh]# pwd
	/home/oracle/.ssh
	[root@bigdata1 .ssh]# ll
	-rw------- 1 oracle oracle 1675 Jul 22 20:39 id_rsa
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:39 id_rsa.pub
	-rw-r--r-- 1 oracle oracle 3173 Jul 23 11:52 known_hosts
	[root@bigdata1 .ssh]#

##公钥上报

• 复制公钥(bigdata一、bigdata二、bigdata三、bigdata四、bigdata5全部节点均执行)

  cd ~/.ssh
    cp id_rsa.pub id_rsa.pub.$(hostname)

• 公钥上报(bigdata二、bigdata三、bigdata四、bigdata5这4个节点将公钥传送至bigdata1)

  scp ~/.ssh/id_rsa.pub.* oracle@bigdata1:/home/oracle/.ssh/

操做完成后，bigdata1节点.ssh目录结构以下：

[root@bigdata1 .ssh]# pwd
	/home/oracle/.ssh
	[root@bigdata1 .ssh]# ll
	total 32
	-rw------- 1 oracle oracle 1675 Jul 22 20:39 id_rsa
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:39 id_rsa.pub
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:39 id_rsa.pub.bigdata1
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:43 id_rsa.pub.bigdata2
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:43 id_rsa.pub.bigdata3
	-rw-r--r-- 1 oracle oracle  397 Jul 23 11:50 id_rsa.pub.bigdata4
	-rw-r--r-- 1 oracle oracle  397 Jul 23 11:50 id_rsa.pub.bigdata5
	-rw-r--r-- 1 oracle oracle 3173 Jul 23 11:52 known_hosts
	[root@bigdata1 .ssh]#

##认证文件的制做和下发

• 用全部节点的公钥制做认证文件（bigdata1节点执行）

  cat /home/oracle/.ssh/id_rsa.pub.bigdata1 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata2 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata3 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata4 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata5 >> /home/oracle/.ssh/authorized_keys

• 权限更改（bigdata1节点执行）

• chmod 600 /home/oracle/.ssh/authorized_keys

• 认证文件下发（bigdata1节点执行)

  scp /home/oracle/.ssh/authorized_keys oracle@bigdata2:/home/oracle/.ssh/
    scp /home/oracle/.ssh/authorized_keys oracle@bigdata3:/home/oracle/.ssh/
    scp /home/oracle/.ssh/authorized_keys oracle@bigdata4:/home/oracle/.ssh/
    scp /home/oracle/.ssh/authorized_keys oracle@bigdata5:/home/oracle/.ssh/

##验证 执行以下命令，依次验证(bigdata一、bigdata二、bigdata三、bigdata四、bigdata5各个节点均执行)

ssh bigdata1 
ssh bigdata2
ssh bigdata3
ssh bigdata4
ssh bigdata5
ssh 192.168.220.200  
ssh 192.168.220.201  
ssh 192.168.220.202 
ssh 192.168.220.203  
ssh 192.168.220.204

若是的确不须要输入密码，即验证经过

#java安装 java的安装，无论是linux平台仍是windows平台，比较相似，安装完成后配置环境变量便可。

##下载 登陆官网jdk下载选择对应的版本下载便可，本文选择jdk-8u181-linux-i586.tar.gz。

##安装和环境变量配置 切换至主目录

cd ~

解压

tar -zxvf jdk-8u181-linux-i586.tar.gz

重命名

mv jdk1.8.0_181 jdk

编辑环境变量

vi ~/.bash_profile

配置完成后结果以下：

[oracle@bigdata1 install]$ cat ~/.bash_profile 
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs



export JAVA_HOME=/home/oracle/jdk
export PATH=$JAVA_HOME/bin:/sbin:$PATH
export PATH JAVA_HOME

[oracle@bigdata1 install]$

验证

输入java -version,显示正确的版本即表示安装成功。
[oracle@bigdata1 install]$ java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) Server VM (build 25.181-b13, mixed mode)

#scala安装

scala的安装，无论是linux平台仍是windows平台，比较相似，安装完成后配置环境变量便可。

##下载 登陆官网scala下载选择对应的版本下载便可，本文选择scala-2.11.8.tgz。

##安装和环境变量配置 切换至主目录

cd ~

解压

tar -zxvf scala-2.11.8.tgz

重命名

mv scala-2.11.8 scala

编辑环境变量

vi ~/.bash_profile

配置完成后结果以下：

[oracle@bigdata1 install]$ cat ~/.bash_profile 
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs



export JAVA_HOME=/home/oracle/jdk
export SCALA_HOME=/home/oracle/scala
export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:/sbin:$PATH
export PATH JAVA_HOME SCALA_HOME

验证

输入scala -version,显示正确的版本即表示安装成功。

[oracle@bigdata1 install]$ scala -version
Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP/EPFL

本文主要阐述基础环境的安装，主要是服务器间免密登陆，java安装和scala安装,以便后续构建大数据平台。

---

关于做者 爱编程、爱钻研、爱分享、爱生活 关注分布式、高并发、数据挖掘