spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用）（以spark2.2.0源码包为例）（图文详解） 使用 Inte

 

 

 

 

 

　　很少说，直接上干货！

 

　　

前言

　   其实啊，不管你是初学者仍是具有了有必定spark编程经验，都须要对spark源码足够重视起来。

　　本人，肺腑之己见，想要成为大数据的大牛和顶尖专家，多结合源码和操练编程。

 

 

 

　　好一段时间以前，写过这篇博客

使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码（博主强烈推荐）

 

 

　　最近开始进行更新，但愿能帮助到开发的你。

 

 

 

 

下载源码

　　去github官网 下载

 

 

 

 

 

 

 

 

 

 　　spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse适用）（以spark2.2.0源码包为例）

　　而后解压缩为目录，scalaIDE不支持tgz的文件关联，只支持jar，zip。

　　那么就 使用文件目录关联就能够了，关联spark2.0的目录就能够了，很简单。

 

 

 　　好比，我这里放在D:\SoftWare

 

 

 

 

 

 

 

 

 

 

 

 

 

 

　　我这里为了区分，本身更名为spark-2.2.0-src

 

 

 

 

spark最新源码下载并导入到开发环境下助推高质量代码(IntelliJ IDEA适用）（以spark2.2.0源码包为例）

 　　　　前期博客，见

如何在IDEA里给大数据项目导入该项目的相关源码（博主推荐）（图文详解）

 

 

 

 

 

 

 

 

 

 

 方式1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 方式2

    若是是maven方式来导入源码的话

 

 

 

 

点击进去，为何会报红错误，maven没改

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

       因此，我的建议，仍是maven方式好啊

 

 

 

 

 

 

 

 

 方式3

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

　　　　若是是Scala IDEA for Eclipse，则好比把spark-1.6.1

 

 

 

 

 

 

 

 

 

         

          通过解压，我这里特地改下名字，为spark-1.6.1-src

 

 

 

 

 

 

 

 

 

 

 

                注意：这不局限于spark，好比Hadoop、Hive、HBase....等其余大数据组件的源码同样的步骤，这里很少赘述。固然其余人确定也有其余的步骤来阅读。

          好比，说在IDEA里能够直接点击进去，maven会自动下载等，这个我很少评论。