使用IDEA开发SPARK提交remote cluster执行

开发环境

操做系统：windows

开发工具：IntelliJ IDEA  14.1.1 须要安装scala插件

编译环境：jdk 1.7   scala 2.10.4

使用IDEA开发spark应用

1：新建scala项目：

2：选择scala版本，须要spark的scala版本对应

点击上图Scala SDK的create按钮，弹出以下对话框，选择红框

3：添加spark的jar做为library

我直接复制spark安装目录下面的lib里面全部的jar做为library.

4:编写spark应用

1. import scala.math.random
2. import org.apache.spark._
3. /** Computes an approximation to pi */
4. object SparkPi{
5. def main(args:Array[String]){
6. val conf =newSparkConf().setAppName("Spark Pi").setMaster("spark://192.168.1.88:7077").
7. set("spark.driver.host","192.168.1.129").setJars(List("D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar"))
8. val spark =newSparkContext(conf)
9. val slices =if(args.length >0) args(0).toInt else2
10. val n =100000* slices
11. val count = spark.parallelize(1 to n, slices).map { i =>
12. val x = random *2-1
13. val y = random *2-1
14. if(x*x + y*y <1)1else0
15. }.reduce(_ + _)
16. println("Pi is roughly "+4.0* count / n)
17. spark.stop()
18. }
19. }

向远程spark集群提交应用

上面的代码中有段 setJars ( List ( "D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar" )) 这里要说明下，就是当前工程编译的jar包的绝对路径。 点击File->Project Structure,弹出下面的对话框进行操做

 

 

好了如今就OK了

 

来自为知笔记(Wiz)