【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（1）

第一步：Spark集群须要的软件；

 在一、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，咱们这里采用2014年5月30日发布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0构建Spark集群，须要的软件以下：

 

1.Spark 1.0.0，笔者这里使用的是spark-1.0.0-bin-hadoop1.tgz， 具体的下载地址是http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop1.tgz

以下图所示：

笔者是保存在了Master节点以下图所示的位置：

2.下载和Spark 1.0.0对应的Scala版本，官方要求的是Scala必须为Scala 2.10.x：

 笔者下载的是“Scala 2.10.4”，具体官方下载地址为http://www.scala-lang.org/download/2.10.4.html 下载后在Master节点上保存为：

第二步：安装每一个软件

 安装Scala

1. 打开终端，创建新目录“/usr/lib/scala”，以下图所示：

 2.解压Scala文件，以下图所示：

把解压好的Scala移到刚刚建立的“/usr/lib/scala”中，以下图所示

3.修改环境变量:

进入以下图所示的配置文件中：

按下“i”进入INSERT模式，把Scala的环境编写信息加入其中，以下图所示：

从配置文件中能够看出，咱们设置了“SCALA_HOME”并把Scala的bin目录设置到了PATH中。

按下“esc“键回到正常模式，保存并退出配置文件：

执行如下命令是配置文件的修改生效：

4.在终端中显示刚刚安装的Scala版本，以下图所示

发现版本是”2.10.4”，这正是咱们指望的。

当咱们输入“scala”这个命令的的时候，能够直接进入Scala的命令行交互界面：

此时咱们输入“9*9”这个表达式：

此时咱们发现Scala正确的帮咱们计算出告终果 。

此时咱们完成了Master上Scala的安装；

 

因为咱们的 Spark要运行在Master、Slave一、Slave2三台机器上，此时咱们须要在Slave1和Slave2上安装一样的Scala，使用scp命令把Scala安装目录和“~/.bashrc”都复制到Slave1和Slave2相同的目录之之下，固然，你也能够按照Master节点的方式手动在Slave1和Slave2上安装。

 

在Slave1上Scala安装好后的测试效果以下：

在Slave2上Scala安装好后的测试效果以下：

至此，咱们在Master、Slave一、Slave2这三台机器上成功部署Scala。