Spark入门教程（二）Spark2.2源码编译及安装配置

Spark2.2源码下载

---

点此进入官网下载地址： 下载Spark

 

spark官网下载截图

//下载好后用传输工具传输到咱们的linux上并解压缩
tar -zxvf spark-2.2.0.tgz

 

源码编译

---

准备工做

根据Spark官方文档可知，须要java8+,maven 3.3.9+版本

 

spark编译需知

确认jave8.0已成功安装

 

检验java是否成功安装

确认Maven3.3.9已成功安装

 

检验maven是否成功安装

若是不知道如何安装，参考以下步骤：
（1）点此下载maven
（2）解压缩：
tar -zxvf apache-maven-3.3.9-bin.tar.gz
（3）配置环境变量：
vim /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.3.9
//根据机器配置为maven分配尽量多的内存，可使得编译更加快速
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=1024m"
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH
//最后不要忘记source命令使得配置当即生效
source /etc/profile

确认机器可以连接外网

vim /etc/resolv.conf
namserver 8.8.8.8 nameserver 8.8.4.4
//检验是否成功连接外网
ping www.baidu.com

开始编译

---

cd /usr/local/spark-2.2.0
./dev/make-distribution.sh --name custom-spark --tgz -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn

• --name以后的custom-spark是编译好后生成的那个tgz文件的文件名，能够自定义
• Phadoop要根据本身已经安装好了的hadoop版本写
• 若是要运行R语言请加上-Psparkr，不然请省略以提升编译速度
• 若是要使用mesos请加上-Pmesos，不然请省略以提升编译速度

编译须要40分钟左右：成功后在spark-2.2.0目录下出现spark-2.2.0-bin-custom-spark.tgz包
将它移动到其余目录下：mv spark-2.2.0-bin-custom-spark.tgz /usr/local/

Scala2.11.8下载安装

---

• 点此下载：scala-2.11.8.tgz
• tar -zxvf scala-2.11.8.tgz
• 配置SCALA_HOME环境变量
  vim /etc/profile
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
source /etc/profile

Spark配置

---

• 进入conf目录 将spark-env.sh.template和slaves.template更名
  mv spark-env.sh.template spark-env.sh
mv slaves.template slaves
• 配置spark-env.sh：加上这几个环境变量便可
  export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0-cdh5.11.1/etc/hadoop
export SCALA_HOME=/usr/local/scala-2.11.8
• 集群配置：配置slaves，把你的集群中每一个机器的主机名写上去便可
  master
slave1
slave2
• 配置好以后分发到集群中其余机器上
  scp -r spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1 slave1:/usr/local/
scp -r spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1 slave2:/usr/local/

验证Spark

---

cd /usr/local/spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1/
bin/spark-shell

出现以下界面便可：

 

spark运行截图

做者：Seven_Ki 连接：https://www.jianshu.com/p/97afd1940fc5 來源：简书 著做权归做者全部。商业转载请联系做者得到受权，非商业转载请注明出处。