Spark2.4.0伪分布式环境搭建 Hadoop2.0伪分布式平台环境搭建

1、搭建环境的前提条件

　　环境：ubuntu-16.04

　　　　　hadoop-2.6.0

 　　　　  jdk1.8.0_161。

　　　　　spark-2.4.0-bin-hadoop2.6。这里的环境不必定须要和我同样，基本版本差很少都ok的，但注意这里spark要和hadoop版本相对应。所需安装包和压缩包自行下载便可。

　　由于这里是配置spark的教程，首先必需要配置Hadoop，配置Hadoop的教程在Hadoop2.0伪分布式平台环境搭建。配置Java以及安装VMware Tools就自行百度解决哈，这里就不写了（由于教程有点长，可能有些地方有些错误，欢迎留言评论，我会在第一时间修改的）。

2、搭建的详细步骤

　　一、首先确保Hadoop伪分布式环境正在运行

　　　　

　　二、首先对spark安装包解压缩

tar -zxvf spark-2.4.0-bin-hadoop2.6

　　　　

　　三、进入spark/conf修改配置文件

cd spark-2.4.0-bin-hadoop2.6/
cd conf/
cp spark-env.sh.template spark-env.sh

　　　　而后在spark-env.sh文件最后添加内容　　

vim spark-env.sh　

　　　　

　　四、配置环境变量

vim ~/.bashrc

　　　　在文件最后加入spark的路径

　　　　

　　　　保存使其当即生效。

source ~/.bashrc

　　五、启动spark

cd ..
sbin/start-all.sh

　　　　

　　　jps查看进程

　　　　

　　　　出现上面这些节点说明搭建成功。

　　六、webUI查看

http://localhost:8080/

　　　　

　　七、若搭建成功的命令行界面，注意路径

　　　　

　　　　退出命令为 :quit 。