Spark 1.0 开发环境构建：maven/sbt/idea

由于我原来对maven和sbt都不熟悉，所以使用两种方法都编译了一下。下面记录一下编译时候遇到的问题。而后介绍一下若是使用IntelliJ IDEA 13.1构建开发环境。

首先准备java环境和scala环境：

1. jdk 1.7

2. scala 2.11.1

1. maven

首先安装maven，我安装的是3.2.3， 能够直接下载binary。解压便可用。须要设置一下环境变量：

export MAVEN_HOME=/project/spark_maven/spark/apache-maven-3.2.3
export MAVEN_OPTS="-Xmx4096m -XX:MaxPermSize=4096m"
export PATH=$PATH:$MAVEN_HOME/bin

因为个人笔记本有16G内存，所以能够给maven比较大的内存。若是MAVEN_OPTS设置的不合理，那么会致使OOM的错误，具体信息能够看这里。

使用如下命令编译：

mvn -X -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package

这里使用的是Apache Hadoop 2.2，若是使用好比其余的商业发行版，能够参照官网的信息去编译。

等待一段时间，若是没有error的话，恭喜你编译成功。下面是编译成功的结果：

2. sbt

sbt编译过程比较慢。若是运行sbt说sbt-launch.jar的错误，那么须要手动的安装如下，能够看这里。

实际上使用如下命令既能够开始编译了：

./sbt/sbt assembly

有时候因为网络问题可能致使编译hang在某个地方，或者你重启了，那么下次开始变异前须要删除$HOME/.ivy2/

.sbt.ivy.lock

。而后重启开始。sbt会进行增量编译。

3. IDEA

将sbt导入idea，先作如下准备工做：

./sbt/sbt gen-idea

若是发生了错误，再次进行。如今应该不须要设置代理便可完成了。若是要等待lock，那么参照上述的方法删除lock便可。

而后打开IDEA，点击Import Project：

选择工程的默认路径后，选择SBT Project

选择auto便可：

点击Finish即完成了工程的导入。

下面可使用IDEA编译如下整个工程：

4. IDEA的经常使用快捷键：

command ＋ B：跳到变量/函数定义处。

command ＋ N：查找类

command ＋ Shift ＋ N： 查找文件

快一点了，之后更新吧。