Eclipse+maven+scala2.11.8+spark2.0.0的环境部署

     主要在maven-for-scalaIDE纠结了,由于在eclipse版本是luna4.x 里面有本身带有的maven。apache

根据网上面无脑的下一步下一步,出现了错误,在此讲解各个插件的用途,以此新人看见了,少走一些弯路。eclipse

其实主要的问题是本身独立去下载scala插件,把scala依赖包拷贝到eclipse的plugins和features里面,而后maven也是本身下载手动修改了maven

Installations里面我在add加入我本身下载的maven的路径,而后修改了maven里面confg配置文件里面的settings.xml文件,加入了工具

 

 仍是别本身为难本身,直接用工具自身的就好。因此上面就不要用。url

还有由于maven已是整合到eclipse(eclipse luna 4. 为高版本)不要用eclipse-》help-》spa

以此开始分割线------------------------------------------------------------------------------开始步骤.net

首先在eclipse-》help-》Eclipse Marketpalce 里面搜索scala,(这是在安装scala的IDE scala运行环境),我是借鉴别的安装的@插件

下面是复制别人的,和他作的没有太大的出入。就是个人是spark2.0.0和scala 2.11.8 版本有点不同而已scala

准备条件

我用的Eclipse版本 
Eclipse Java EE IDE for Web Developers. 
Version: Luna Release (4.4.0)code

我用的是Eclipse for Java EE, 这个和Eclipse 是同样的 
最好是用高版本的Eclipse,版本过低的话不支持Scala-IDE

1.安装Scala-IDE

在Eclipse中开发Scala程序须要有scala插件,咱们如今安装scala插件 
下面是安装过程截图 
Scala IDE用于提供scala语言的开发环境。直接在Marketplace下载安装,安装后以下图所示 


2.安装m2e-scala插件

m2e-scala用来支持scala开发中对maven的一些定制功能。经过eclipse的Install New Software安装。 
安装过程 
1.Help->Install New Software 
 
2.输入m2e-scala下载的url 
这一步我是跳过的,以前每次进行完这一步,个人Eclipse的maven插件反而找不到了,这个Eclipse自带的是 
m2e-eclipse插件,每次一安装m2e-scala插件后就找不到maven了,索性我就没进行这一步,用Eclipse自带的 m2e-eclipse. 
以下图 

url为:http://alchim31.free.fr/m2e-scala/update-site/ 
这里能够仅勾选第三项(图中红框所示) 
 
3.安装完成后,可在Help->Installation Details中查看 

3.新建Eclipse+scala+maven工程

新建maven工程 
 
此时的maven的Archetype须要设置为 org.scala-tools.archetypes 
若是没有安装Scala-IDE的话,会找不到org.scala-tools.archetypes这个类别 
而后Finish 
 
此时建立的工程还不是scala的工程,在项目名称上点击右键 


点击 Add Scala Nature后项目才转换为scala-maven项目 
而后pom.xml报下图中的错误,解决办法 
在 plugins 的外层加标签

解决方法: 
 
此时又报错 



意思是我有多个scala-library库的构建路径 
一个是scala-IDE插件带的,一个是maven库中的 
而且maven中自动设置的是scala版本是2.7.0的 
 
解决方法: 
把pox.xml中的scala-version改为和scala-IDE的版本同样 
这时候仍是提示有多个scala-library的构建路径,可是不报错了

 

咱们用一个构建路径,把其他的一个去掉 
这里我把pom.xml中的scala-library 注释掉,只用scala-IDE的库 
 
最后把自带的‘App.scala中的代码删除 
这样maven+scala的项目就成功搭建了。

4. Eclipse+maven+scala+spark

在pom.xml中加入spark的依赖 
个人spark的版本是 
 
这个版本的依赖 

<dependency> 
<groupId>org.apache.spark</groupId> 
<artifactId>spark-core_2.11</artifactId> 
<version>1.2.1</version> 
</dependency> 

我刚开始用的是 spark-core_2.10 ,结果报错,后来换成spark-core_2.11才合适,2.11是对应的scala版本 
而后一阵狂下在spark的依赖,最后是这个样子滴

 

终于把scala+maven+spark的环境搭建成功了,以前被maven那一步折腾的快疯了,最后索性没使用maven-for-scalaIDE

相关文章
相关标签/搜索