win7下配置spark

 

1.安装jdk(配置JAVA_HOME,CLASSPATH,path)

2.安装scala(配置SCALA_HOME,path)

3.安装spark

Spark的安装很是简单，直接去Download Apache Spark。有两个步骤：
● 选择好对应Hadoop版本的Spark版本，以下图中所示；

 

● 而后点击下图中箭头所指的spark-1.6.2-bin-hadoop2.6.tgz，等待下载结束便可。

这里使用的是Pre-built的版本，意思就是已经编译了好了，下载来直接用就好，Spark也有源码能够下载，可是得本身去手动编译以后才能使用。下载完成后将文件进行解压（可能须要解压两次），最好解压到一个盘的根目录下，并重命名为Spark，简单不易出错。而且须要注意的是，在Spark的文件目录路径名中，不要出现空格，相似于“Program Files”这样的文件夹名是不被容许的。
解压后基本上就差很少能够到cmd命令行下运行了。但这个时候每次运行spark-shell（spark的命令行交互窗口）的时候，都须要先cd到Spark的安装目录下，比较麻烦，所以能够将Spark的bin目录添加到系统变量PATH中。例如我这里的Spark的bin目录路径为D:\Spark\bin，那么就把这个路径名添加到系统变量的PATH中便可，方法和JDK安装过程当中的环境变量设置一致，设置完系统变量后，在任意目录下的cmd命令行中，直接执行spark-shell命令，便可开启Spark的交互式命令行模式。

4.安装hadoop

系统变量设置后，就能够在任意当前目录下的cmd中运行spark-shell，但这个时候颇有可能会碰到各类错误，这里主要是由于Spark是基于Hadoop的，因此这里也有必要配置一个Hadoop的运行环境。在 Hadoop Releases里能够看到Hadoop的各个历史版本，这里因为下载的Spark是基于Hadoop 2.6的（在Spark安装的第一个步骤中，咱们选择的是Pre-built for Hadoop 2.6），我这里选择2.6.4版本，选择好相应版本并点击后，进入详细的下载页面，以下图所示，选择图中红色标记进行下载，这里上面的src版本就是源码，须要对Hadoop进行更改或者想本身进行编译的能够下载对应src文件，我这里下载的就是已经编译好的版本，即图中的hadoop-2.6.4.tar.gz文件。

 

　下载并解压到指定目录，而后到环境变量部分设置HADOOP_HOME为Hadoop的解压目录，我这里是F:\Program Files\hadoop，而后再设置该目录下的bin目录到系统变量的PATH下，我这里也就是F:\Program Files\hadoop\bin，若是已经添加了HADOOP_HOME系统变量，也能够用%HADOOP_HOME%\bin来指定bin文件夹路径名。这两个系统变量设置好后，开启一个新的cmd，而后直接输入spark-shell命令。

正常状况下是能够运行成功并进入到Spark的命令行环境下的，可是对于有些用户可能会遇到空指针的错误。这个时候，主要是由于Hadoop的bin目录下没有winutils.exe文件的缘由形成的。这里的解决办法是：

• 去 https://github.com/steveloughran/winutils 选择你安装的Hadoop版本号，而后进入到bin目录下，找到winutils.exe文件，下载方法是点击winutils.exe文件，进入以后在页面的右上方部分有一个Download按钮，点击下载便可。
• 下载好winutils.exe后，将这个文件放入到Hadoop的bin目录下，我这里是F:\Program Files\hadoop\bin。

5.运行spark-shell.cmd