Spark高可用集群搭建（HA）

Spark高可用

自带仙气的手工结构图

1.zookeeper安装部署

    1.1.zookeeper下载

        官网     http://zookeeper.apache.org/

  下载地址   http://apache.opencas.org/zookeeper/

        这里咱们选择zookeeper-3.4.7.tar.gz

    1.2.zookeeper解压缩

            tar –xzvf zookeeper-3.4.7.tar.gz

    1.3.修改ZOOKEEPER_HOME/PATH

        记得要source /etc/profile

     1.4.修改配置文件

                1.4.1.进入到zookeeper-3.4.7目录下建立logs目录，在logs下建立data目录

                   1.4.2.进入到conf目录下

                        cp  zoo_sample.cfg   zoo.conf

                    修改zoo.conf

                                    #三台zookeeper集群的名称端口号

                                        server.0= master:2888:3888

                                        server.1= slave1:2888:3888

                                        server.2= slave2:2888:3888

                1.4.3.进入data目录建立myid文件，写入0，保存退出

                1.4.4.scp到其他两台机器上，切记每台机器都要修改myid，分别为0，1，2

      1.5.三台机器分别启动zookeeper

                                            zkServer.sh    start

                                       启动成功后，jps显示QuorumpeerMain

2.Spark安装部署

1.Spark安装部署

    1.1.Spark下载

    1.2.Spark解压缩

    1.3.修改SPARK_HOME/PATH

        记得要source /etc/profile

     1.4.修改配置文件

            1.4.1.     cp    spark-env.sh.template    spark-env.sh

            spark-env.sh中添加

            export                  JAVA_HOME=/usr/soft/jdk1.8.0_40
           # export                  SPARK_MASTER_IP=h1
            #export                  SPARK_MASTER_PORT=7077
            #export                  HADOOP_CONF_DIR=/usr/soft/myhadoop/hadoop/etc/hadoop
            #export                  YARN_CONF_DIR=/usr/soft/myhadoop/hadoop/etc/hadoop
            export                  SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  

-Dspark.deploy.zookeeper.url=h1:2181, h2:2181 -Dspark.deploy.zookeeper.dir=/spark"

            h1：2181对应的是你的主机

            h2：2181对应的是你的standby master备用主机

              1.4.2.     cp      slaves.template     slaves  

                修改slaves文件,添加从节点

                    h3

           1.5.建立软链接，在sbin目录下

                ln -s  start-all.sh  start-spark-all.sh

           1.6.启动spark

                start-spark-all.sh  

3.高可用检测

            1.启动完成以后   jps  查看主节点

                

            2.查看从节点

                

              3.访问h1：8080

        

  4.访问从机h2：8080

高可用搭建完成！