Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程

       使用scala编写spark脚本的话,能够直接在spark-shell中运行,若是要提交整个脚本的话,就必须将scala脚本编译成Jar包,而后经过spark-submit 提交Jar包给spark集群,当须要重复利用脚本的话通常是须要编译成Jar包的,因此后面会介绍下怎么将scala编译成Jar包,前面则会介绍下怎么搭建spark-scala的开发环境,同时使用IntelliJ I
相关文章
相关标签/搜索