【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（2）

安装Spark

 

Master、Slave一、Slave2这三台机器上均须要安装Spark。

首先在Master上安装Spark，具体步骤以下：

第一步：把Master上的Spark解压：

咱们直接解压到当前目录下：

此时，咱们建立Spark的目录“/usr/local/spark”:

把解压后的“spark-1.0.0-bin-hadoop1”复制到/usr/local/spark”下面：

第二步：配置环境变量

       进入配置文件：

在配置文件中加入“SPARK_HOME”并把spark的bin目录加到PATH中：

配置后保存退出，而后使配置生效：

第三步：配置Spark

 

进入Spark的conf目录：

在配置文件中加入“SPARK_HOME”并把spark的bin目录加到PATH中：

把spark-env.sh.template 拷贝到spark-env.sh：

在配置文件中添加以下配置信息:

其中：

JAVA_HOME:指定的是Java的安装目录；

SCALA_HOME:指定的是Scala的安装目录；

SPARK_MASTER_IP:指定的是Spark集群的Master节点的IP地址；

SPARK_WORKER_MEMOERY:指定的Worker节点可以最大分配给Excutors的内存大小，由于咱们的三台机器配置都是2g，为了最充分的使用内存，这里设置为了2g；

HADOOP_CONF_DIR:指定的是咱们原来的Hadoop集群的配置文件的目录；

 

保存退出。

接下来配置Spark的conf下的slaves文件，把Worker节点都添加进去：

打开后文件的内容：

咱们须要把内容修改成：

能够看出咱们把三台机器都设置为了Worker节点，也就是咱们的主节点便是Master又是Worker节点。

保存退出。

上述就是Master上的Spark的安装。

 

第四步：Slave1和Slave2采用和Master彻底同样的Spark安装配置，在此再也不赘述。