idea构建spark开发环境,并本地运行wordcount

一、首先如今idea,官网:https://www.jetbrains.com/idea/ide

二、安装jdk1.8,scala2.11oop

三、下载idea后,须要在idea中安装scala的插件,安装的方式以下:idea

File--->settings--->Plugins--->输入scala(下图是我已经安装好了)spa

三、配置spark依赖包插件

下载spark相关的包spark-2.1.1-bin-hadoop2.7.tgz 并将spark相关的jars依赖包添加到项目的library中,具体操做以下:scala

选中项目,按F43d

添加依赖包以下所示:(注意后面必须是Compile)blog

四、出现的问题:hadoop

 (1)Error:(9, 8) App is already defined as object Appspark

object App {}

 

这种问题是由于设置了多个source。只须要src为source便可。

相关文章
相关标签/搜索