spark 2.0.2 集群搭建

因为以前已经搭建过hadoop相关环境,如今搭建spark的预备工做只有scala环境了

一,配置scala环境

1.解压tar包后,编辑/etc/profile

2.source /etc/profile

3.scala -version

4.分发到其余两台机器上

 

二.搭建spark集群

1.配置spark环境变量

2.进入spark的conf目录下

cp -a spark-env.sh.template spark-env.sh

cp -a slaves.template slaves

3.修改spark-env.sh,这里依然指定master为hadoop002

1 export JAVA_HOME=/opt/module/jdk1.8.0_181 2 export SCALA_HOME=/opt/module/scala-2.10.1
3 export SPARK_MASTER_IP=192.168.101.102
4 export SPARK_WORKER_MEMORY=1g 5 export HADOOP_CONF_DIR=/opt/module/hadoop-2.7.7

4.修改slaves

1 hadoop003
2 hadoop004

5.分发到其余两台机器

6.启动集群

先启动zk,而后启动hdfs,yarn,最后来到spark目录下

执行sbin/start-all.sh启动spark

7.查看,虽然咱们没有配置hadoop002为slaves,但显然此时它也是一个worker(下次从新启动时就只有Masrter节点就不会有worker进程了)

也能够打开8080端口,查看UI

 8.中止时先在spark目录下sbin/stop-all.sh 而后中止yarn,再中止hdfs.最后zk