Windows 下Spark 快速搭建Spark源码阅读环境

      最近开始学习Spark,想搭建一个Spark的源码阅读环境。找了一些资料。如 http://m.blog.csdn.net/blog/zhongwen7710/42401445 和 http://guozhongxin.com/pages/2014/10/15/spark_source_code.html, 可是在导入源码后,总会有各类问题。如 不少Jar包下载不下来(国内网络。。我下载2天都没下完),SBT不是那么好用。html

      因此我就想有没有其余的办法快速的完成这些工做。其实主要的就是那些Jar包能不能不要每次都下载,因而我尝试了把一个我已经下载完成的Jar包复制到另一台电脑上,发现就不须要从新下载这些Jar。这样基本上能在30分钟内完成环境的搭建。java

  1. 准备apache

    下载 IDEA 最好 14.X 由于我用的 14.1.15 :) http://www.jetbrains.com/idea/download/  网络

    Scala 要2.10.4 或 2.10.5oracle

    JDK是必须的 1.7 不推荐 1.8  http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html ide

    Spark Source Code 我使用的是1.4.1 http://www.apache.org/dyn/closer.lua/spark/spark-1.4.1/spark-1.4.1.tgz 学习

    下载 repository.zip  http://pan.baidu.com/s/1kT0GyMF 网站

  2. 安装 JDK,IDEA lua

    JDK的安装就不在此处详细描述了。idea

    IDEA的安装: 双击 ideaIC-14.1.5.exe 文件安装 IDEA。

    打开IDEA,选择一个你喜欢的主题。

    选择安装的插件 Scala和IdeaVim, IdeaVim会是你编辑文件的时候使用Vim命名,建议不熟悉的不要安装这个插件。


     若是Scala 插件安装不了,或者很慢,由于默认下载的网站是国外的网站。 能够使用这个 

  3. http://pan.baidu.com/s/1woYrO

    下载后放到 IDEA安装目录下 JetBrains\IntelliJ IDEA Community Edition 14.1.5\plugins 而后打开IDEA Plugins   File ->Settings -> Plugins

选择 Install plugin from disk ,选中scala-intellij-bin-1.5.4.zip. ok. 

    3.  Improt Project 

    将下载的repository.zip 解压到 C:\Users\YourUserName\.m2\ 目录下。

    File -> import project 选择Spark Source Code ,而后选择Import project from external model , Maven 

Next, 勾选 Import Maven project automatically

选取你想安装的 profile 

选取JDK

ok.

在Index完成后,可能会提示你model里面没有Scala,选择2.10 版本的就好了。

相关文章
相关标签/搜索