编译安装spark

1.官网下载未编译的spark的jar包，选择下载的时候选择source code

2.安装jdk，maven。

3.修改spark根目录下的pom.xml文件（这一步不要作，作了反而会致使编译不过，由于使用-Phadoop-2.3参数是已经传递进去了）。主要是修改版本。里面有不少版本，只要修改你自己的对应的版本，好比：jdk 1.7，hadoop 2.3.0，hbase 0.98.1-hadoop2，hive 0.12.0等等。你自己没用到的版本不用配置。

4.添加maven参数：export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

你能够添加到~/.bashrc中。这个maven参数在脚本make-distribution.sh中默认是有的。

5.编译，使用以下命令，选择对应的版本。

mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Phive -Phive-thriftserver -DskipTests clean package

6.编译打包，使用以下命令，选择对应的版本。这一步会打包。

./make-distribution.sh --tgz --skip-java-test -Phadoop-2.3 -Dhadoop.version=2.3.0 -Pyarn -Phive -Phive-thriftserver

--tgz表明打包，--skip-java-test跳过测试阶段，-Pyarn -Phive -Phive-thriftserver把hive，yarn打入进去。

7.若是显示Build Success，那么在spark的根目录下存在spark-1.3.0-bin-~.tgz的安装包。

 

参考：

Building with build/mvn

spark1.3.0__for_hadoop2.4.1编译、安装与初步测试