大数据环境搭建Step1 zookeeper安装配置

集群搭建有三个节点

master 192.168.21.161
slave1 192.168.21.162
slave2 192.168.21.163

软件

Centos7
jdk-8u171-linux-x64.tar.gz
zookeeper-3.4.14

获取软件

获取JDK

wget https://repo.huaweicloud.com/java/jdk/8u171-b11/jdk-8u171-linux-x64.tar.gz

获取zookeeper

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

更改主机名

修改/etc/sysconfig/network文件

NETWORKING=yes
HOSTNAME=master

master主机的HOSTNAME=master， slave1主机的HOSTNAME=slave1, slave2主机的HOSTNAME=slave2

配置hosts文件(三台机器)

修改三台主机的/etc/hosts文件内容。其中IP地址为各主机实际的IP地址

192.168.21.161 master master.root
192.168.21.162 slave1 slave1.root
192.168.21.163 slave2 slave2.root

重启生效（三台机器）

reboot

关闭防火墙（三台机器）

systemctl stop firewalld

systemctl status firewalld

确保防火墙关闭

时间同步

时间同步的具体设置和处理请参照以前的文章
Linux下ntp时间服务器配置

ssh免密登录

• （1）生成密钥（三台主机）

  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

  能够看到在~/.ssh/目录下生成了id_dsa,id_dsa.pub文件

• （2）在master主机将slave1,slave2的id_dsa.pub文件copy到master下

  mkdir tmp
  cd tmp
  scp root@slave1:~/.ssh/id_dsa.pub ./2
  scp root@slave2:~/.ssh/id_dsa.pub ./3

• (3)合并master，slave1，slave2的id_dsa.pub文件为authorized_keys

  cat ~/.ssh/id_dsa.pub >> authorized_keys
  cat ./2 >> authorized_keys
  cat ./3 >> authorized_keys

  authorized_keys文件的内容以下
  

• (4)将authorized_keys文件copy到master, slave1, slave2的/root/.ssh目录下

  cp ./authorized_keys ~/.ssh/
  scp ./authorized_keys root@slave1:~/.ssh/
  scp ./authorized_keys root@slave2:~/.ssh/

  如今在master上ssh slave1，ssh slave2就能够免密码直接登录了。一样slave1，slave2一样也能够免密码登录别的主机

安装JDK

• (1)解压

  mkdir -p /usr/java
  tar -xzvf jdk-8u171-linux-x64.tar.gz -C /usr/java/

• (2)修改环境变量
  vi /etc/profile
  添加以下内容

  export JAVA_HOME=/usr/java/jdk1.8.0_171
  export CLASSPATH=$JAVA_HOME/lib/
  export PATH=$PATH:$JAVA_HOME/bin
  export PATH JAVA_HOME CLASSPATH

• (3)生效

  source /etc/profile

安装zookeeper

• (1) 解压文件

  mkdir -p /usr/zookeeper
  tar -xzvf zookeeper-3.4.14.tar.gz -C /usr/zookeeper/

• (2) 建data和log目录

  cd /usr/zookeeper/zookeeper-3.4.14/
  mkdir zkdata
  mkdir zkdatalog

• (3) 修改配置

  cd /usr/zookeeper/zookeeper-3.4.14/conf
  cp zoo_sample.cfg zoo.cfg

  修改zoo.cfg，确保以下内容

  tickTime=2000
  initLimit=10
  syncLimit=5
  
  dataDir=/usr/zookeeper/zookeeper-3.4.14/zkdata
  
  clientPort=2181
  
  dataLogDir=/usr/zookeeper/zookeeper-3.4.14/zkdatalog
  
  server.1=master:2888:3888
  server.2=slave1:2888:3888
  server.3=slave2:2888:3888

• (4) 建立myid

  在master主机,/usr/zookeeper/zookeeper-3.4.14/zkdata下建立myid内容1
  

• (5) 将master主机下zookeeper复制分发到slave1,slave2

  scp -r /usr/zookeeper root@slave1:/usr/
  scp -r /usr/zookeeper root@slave2:/usr/

• (6) 将slave1，slave2的myid更改成2，3
  确保slave1的myid为2，slave2的myid为3
  

  

• (7)配置环境变量(三台主机）
  vi /etc/profile
  添加以下内容

  export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.14
  PATH=$PATH:$ZOOKEEPER_HOME/bin

  执行

  source /etc/profile

  配置生效

• (8)启动zookeeper（三台主机）

  cd /usr/zookeeper/zookeeper-3.4.14/
  ./bin/zkServer.sh start
  ./bin/zkServer.sh status

  

  

  

  能够看到一台主机为leader，两台主机为follower