Spark on Yarn

1.配置 安装Hadoop：需要安装HDFS模块和YARN模块，spark运行时要把jar包放到HDFS上。 安装Spark：不需要启动Spark集群，在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_DIR目录，Spark程序将作为yarn的客户端用户提交任务。 export JAVA_HOME=/usr/local/jdk1.8.0_161 export HA

>>阅读原文<<