基于Centos6.5搭建Flink集群
1、准备环境
1.1节点环境
#系统版本 cat /etc/redhat-release CentOS release 6.5 (Final) #hadoop版本 hadoop version Hadoop 2.7.3.2.5.3.0-37 #jdk版本 java -version java version "1.8.0_112" Java(TM) SE Runtime Environment (build 1.8.0_112-b15) Java HotSpot(TM) 64-Bit Server VM (build 25.112-b15, mixed mode)
| IP | 节点名称 | 节点任务 |
|---|---|---|
| 192.168.0.189 | node1.kg.cn | master |
| 192.168.0.190 | node2.kg.cn | standby |
| 192.168.0.191 | node3.kg.cn | slave |
| 192.168.0.192 | node4.kg.cn | slave |
| 192.168.0.193 | node5.kg.cn | slave |
2.2下载
2.2.1下载地址
https://flink.apache.org
选择与我们hadoop版本一致的二进制包
2.2.2 上传到节点
上传安装文件到指定节点目录：/opt/software
2.2.3 解压
#解压到/opt/module目录下 tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz -C /opt/module/
2.2.4 copy到其它节点
scp -r flink-1.7.2/* [email protected]:/opt/module/ scp -r flink-1.7.2/* [email protected]:/opt/module/ scp -r flink-1.7.2/* [email protected]:/opt/module/ scp -r flink-1.7.2/* [email protected]:/opt/module/
3、配置
cd /opt/module/flink-1.7.2/conf
3.1配置HA
3.1.1 配置masters
主节点配置
vim masters node1.kg.cn:8087 #端口号为8087 node2.kg.cn:8087
3.1.2 配置slaves
vim slaves node3.kg.cn node4.kg.cn node5.kg.cn
3.1.3 配置flink-conf.yaml
vim flink-conf.yaml
HA模式下，jobmanager不需要指定，在master file中配置，由zookeeper选出leader与standby。
jobmanager.rpc.address: localhost #默认即可
#配置zookeeper
high-availability: zookeeper high-availability.zookeeper.quorum: node3.kg.cn:2181,node4.kg.cn:2181,node5.kg.cn:2181 high-availability.zookeeper.path.root: /flink high-availability.cluster-id: /cluster_one # important: customize per cluster high-availability.storageDir: hdfs:///flink/recovery
3.1.4 scp到其它节点
#flink-conf.yaml scp -r flink-conf.yaml node2.kg.cn:/opt/module/flink-1.7.2/conf/ scp -r flink-conf.yaml node3.kg.cn:/opt/module/flink-1.7.2/conf/ scp -r flink-conf.yaml node4.kg.cn:/opt/module/flink-1.7.2/conf/ scp -r flink-conf.yaml node5.kg.cn:/opt/module/flink-1.7.2/conf/ #masters scp -r masters node2.kg.cn:/opt/module/flink-1.7.2/conf/ scp -r masters node3.kg.cn:/opt/module/flink-1.7.2/conf/ scp -r masters node4.kg.cn:/opt/module/flink-1.7.2/conf/ scp -r masters node5.kg.cn:/opt/module/flink-1.7.2/conf/ #slaves scp -r slaves node2.kg.cn:/opt/module/flink-1.7.2/conf/ scp -r slaves node3.kg.cn:/opt/module/flink-1.7.2/conf/ scp -r slaves node4.kg.cn:/opt/module/flink-1.7.2/conf/ scp -r slaves node5.kg.cn:/opt/module/flink-1.7.2/conf/
4、启动
4.1 启动HA集群
cd /opt/module/flink-1.7.2/bin ./start-cluster.sh
4.2 访问webui
http://node1.kg.cn:8087/#/overview
4.1 测试HA
jps
#杀掉进程ID20374 kill -9 20374
再次访问http://node2.kg.cn:8087/#/jobmanager/config
此时jobManager地址已成功切换到node2.kg.cn节点上面
再次启动node1节点的jobManager进程
./jobmanager.sh start
5、停止集群
./stop-cluster.sh