流式大数据计算实践（2）----Hadoop集群和Zookeeper

1、前言

一、上一文搭建好了Hadoop单机模式，这一文继续搭建Hadoop集群

2、搭建Hadoop集群

一、根据上文的流程获得两台单机模式的机器，并保证两台单机模式正常启动，记得第二台机器core-site.xml内的fs.defaultFS参数值要改为本机的来启动，启动完毕后再改回来

二、清空数据，首先把运行单机模式后生成的数据所有清理掉

rm -rf /work/hadoop/nn/current rm -rf /work/hadoop/dn/current

hdfs namenode -format

三、启动集群

（1）storm1做为namenode节点，因此在这台机上面执行命令启动namenode

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start namenode

（2）storm2做为datanode节点，因此在这台机上面执行命令启动datanode

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start datanode

（3）经过jps命令能够看到对应的节点，而后经过50070的控制台能够看到storm2的datanode节点

3、ZooKeeper

一、Zookeeper是分布式框架常常要用到的应用协调服务，至关于让分布式内的每一个组件同步起来

二、Zookeeper安装

（1）下载Zookeeper的tar.gz包，并解压

（2）配置环境变量

vim /etc/profile #set zookeeper env export ZOOKEEPER_HOME=/work/soft/zookeeper-3.4.13 export PATH=$PATH:$ZOOKEEPER_HOME/bin source /etc/profile

（3）配置ZooKeeper

①进入到Zookeeper目录的conf文件夹，能够看到里面有一个配置文件的模板zoo_sample.cfg，将模板复制一份到zoo.cfg

②而后编辑内容，只须要修改Zookeeper的存放数据的目录（记得建立对应文件夹）

vim /work/soft/zookeeper-3.4.13/conf/zoo.cfg dataDir=/work/zookeeper/data

③继续编辑bin目录下的zkEnv.sh文件来修改Zookeeper存放日志的目录（记得建立对应文件夹）

vim /work/soft/zookeeper-3.4.13/bin/zkEnv.sh ZOO_LOG_DIR=/work/zookeeper/logs

④进入到刚刚设定的数据目录，建立一个文件myid，并写入本台机器的Zookeeper Id，这个id的取值范围是1-255，我这里取得分别是1和2

vim /work/zookeeper/data/myid 1

（4）启动单机版Zookeeper

①首先启动Zookeeper

$ZOOKEEPER_HOME/bin/zkServer.sh start

②进入到Zookeeper的控制台查看数据目录是否正常

$ZOOKEEPER_HOME/bin/zkCli.sh

ls /

（5）启动集群版Zookeeper

①先中止单机版

$ZOOKEEPER_HOME/bin/zkServer.sh stop

②把刚刚单机版产生的数据删除，执行删除目录时，必定要当心不要输错，还有记得再把刚才的myid文件建立出来- -

rm -rf /work/zookeeper/data/* rm -rf /work/zookeeper/logs/*

③进入Zookeeper的conf目录，编辑zoo.cfg，在文件末尾配置Zookeeper集群的节点信息

vim /work/soft/zookeeper-3.4.13/conf/zoo.cfg server.1=storm1:2888:3888 server.2=storm2:2888:3888

④在每台机器启动Zookeeper，而后经过jps命令查看进程是否存在

$ZOOKEEPER_HOME/bin/zkServer.sh start jps

⑤使用查看集群状态命令，在每台机器执行，能够发现一台是leader，另外一台是follower，说明集群是OK的

$ZOOKEEPER_HOME/bin/zkServer.sh status