Intellij-idea工具开发spark常见问题解决备案

IntelliJ IDEA开发Spark1.4.0环境部署

1：IDEA的安装
      官网jetbrains.com下载IntelliJ IDEA，有Community Editions 和& Ultimate Editions，前者免费，用户能够选择合适的版本使用。
根据安装指导安装IDEA后，须要安装scala插件，有两种途径能够安装scala插件：

• 启动IDEA -> Welcome to IntelliJ IDEA -> Configure -> Plugins -> Install JetBrains plugin... -> 找到scala后安装。

• 启动IDEA -> Welcome to IntelliJ IDEA -> Open Project -> File -> Settings -> plugins -> Install JetBrains plugin... -> 找到scala后安装。

若是你想使用那种酷酷的黑底界面，在File -> Settings -> Appearance -> Theme选择Darcula，同时须要修改默认字体，否则菜单中的中文字体不能正常显示。

2：创建Spark应用程序
      下面讲述如何创建一个Spark项目week2，该项目包含3个object：

• 取自spark examples源码中的SparkPi

• 计词程序WordCount1

• 计词排序程序WordCount2

A：创建新项目

• 建立名为dataguru的project：启动IDEA -> Welcome to IntelliJ IDEA -> Create New Project -> Scala -> Non-SBT -> 建立一个名为week2的project（注意这里选择本身安装的JDK和scala编译器） -> Finish。

• 设置week2的project structure

  • 增长源码目录：File -> Project Structure -> Medules -> week2，给week2建立源代码目录和资源目录，注意用上面的按钮标注新增长的目录的用途。

 

• 增长开发包：File -> Project Structure -> Libraries -> + -> java ->  选择

  • /app/hadoop/spark100/lib/spark-assembly-1.4.0-hadoop2.6.0.jar

  • /app/scala2104/lib/scala-library.jar可能会提示错误，能够根据fix提示进行处理

  •  

B：编写代码
      在源代码scala目录下建立1个名为week2的package，并增长3个object（SparkPi、WordCoun一、WordCount2）：

C：生成程序包
      生成程序包以前要先创建一个artifacts，File -> Project Structure -> Artifacts  -> + -> Jars -> From moudles with dependencies，而后随便选一个class做为主class。

对artifacts进行配置，修改Name为week2，删除Output Layout中week2.jar中的几个依赖包，只剩week2项目自己。

3.Build -> Build Artifacts -> week2 -> rebuild进行打包，通过编译后，程序包放置在out/artifacts/week2目录下，文件名为week2.jar。

设置本地运行，在IDEA的右上角-点开Edit Configurations

4.设置本地运行,在Vm options:上填写：-Dspark.master=local ，Program arguments上填写：local

5.点击run运行，run前先开启本机的spark