Hadoop安装—Spark安装

时间 2019-11-24

标签 hadoop 安装 spark 栏目 Hadoop 繁體版

原文原文链接

Spark安装首先要先安装上Hadoop，而后才能够安装Spark。html

Spark官网下载：http://spark.apache.org/downloads.htmlapache

须要注意的是：Spark对应的hadoop版本，而后上传至虚拟机oop

安装步骤：spa

一、加压文件，tar -zxvf spark-2.3.0-bin-hadoop2.7.tgzhtm

　　配置环境变量，blog

二、拷贝配置文件，目录为./spark/confighadoop

　　cp spark-env.sh.template spark-env.sh虚拟机

三、编辑文件，vi spark-env.sh，在最后增长以下内容：spark

　　export SPARK_DIST_CLASSPATH=$(/home/wdd/hadoop-2.9.0/bin/hadoop classpath)class

　　指定spark和hadoop进行关联

四、须要注意的是，所属组和全部者，以下图：

五、简单使用，计算pi的值

　　　./spark-2.3.0-bin-hadoop2.7/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"