Idea 编写 Spark 示例代码并打包成Jar

 说明：本人是在Linux下搭建的单机Spark环境，也是在Linux下使用Idea14.02进行代码编辑

     1. 打开IDEA，在欢迎界面从右下角的Configure -> Plugins进入，安装Scala插件

 

    2.从左下角的Install JetBrains plugin进入，再在搜索输入框中输入 scala，因为我已经装好scala插件了，因此右侧出现的是Uninstall plugin ;若没有装好scala插件，应该会出现 Install plugin按钮，点击安装，装好后会要求重启IDEA.

 

 

3.配置默认JDK，以下图

 

进入后会看到 No SDK

点击New

找到你的Java JDK所在目录

 

4.新建项目

 

5.选择Scala 和 SBT。其实我后面并无对SBT的配置文件进行编辑，以前编辑过sbt的配置文件，可是因为网络缘由，部分包一直下载不下来，因此干脆不用sbt了，我只是为了让它自动生成一些目录而已。

 

 

6.在如图所示的scala目录中新建scala object文件

 

 

输入相应的测试代码：

 

7.打包相关的配置

 

找到spark安装目录下的lib目录，也能够从其它机器上将须要的jar拷贝过来：

 

 

点

击Main Class后面的按钮，选择main函数

 

 

下图中右侧蓝色的包能够删掉，只留最后的  'sparktest' compile output那一项便可，不然打好的包会比较大，我以前只写了几行代码，可是把scala和spark相关的包都包含进去了，因此一个包有100多M。

 

8.开始打包

 

打包好后，应该就能看到对应的ja包了

9.进行测试：

 

bin/spark-submit --master spark://macor:7077 --class getSum /root/IdeaProjects/SParkTest/out/artifacts/sparktest_jar/sparktest.jar

 

 

 

执行正确：