Mac上配置IntelliJ IDEA的Spark源码阅读环境

文章目录

• 环境准备
• 主要工具/软件
• Git 安装
• IntelliJ IDEA 下载及 Scala 插件安装
• sbt 安装
• 基本步骤
• 获取git目录
• 在IDEA中构建spark
• IDEA中查看代码

环境准备

主要工具/软件

1. git
2. Intellij IDEA & Scala Plugin
3. sbt

Git 安装

IntelliJ IDEA 下载及 Scala 插件安装

IJ IDEA 下载链接： https://www.jetbrains.com/idea/download/#section=mac
安装完IDEA后，进入偏好设置，在搜索框搜索scala，而后安装scala 插件。

sbt 安装

Mac 我安装了Homebrew，因此使用的如下代码安装sbt：

$ brew install sbt@1

其余安装方法请参阅官方文档

基本步骤

获取git目录

1. Fork apache spark 项目
2. Clone spark目录到本地
   $ git clone git@github.com:lestatzhang/spark.git
3. 保持fork后的原项目同步

   $ cd spark;
   $ git remote -v;
   origin	git@github.com:lestatzhang/spark.git (fetch)
   origin	git@github.com:lestatzhang/spark.git (push)
   $ git remote add upstream https://github.com/apache/spark.git;
   $ git remote -v;
   origin	git@github.com:lestatzhang/spark.git (fetch)
   origin	git@github.com:lestatzhang/spark.git (push)
   upstream	https://github.com/apache/spark.git (fetch)
   upstream	https://github.com/apache/spark.git (push)

4. 抓取原项目的修改记录

   $ git fetch upstream

5. 同步远端项目到本地

   $ git pull upsteam master
   From https://github.com/apache/spark
   * branch                  master     -> FETCH_HEAD
   Already up-to-date.

6. 创建一个新的分支用于本地查看
   $ git checkout -b dev

在IDEA中构建spark

1. 切换到dev分支
   $ git checkout dev
2. 在IDEA中利用打开spark项目的pom.xml来打开整个spark项目
3. 进入spark的安装目录，使用sbt构建spark项目(花了将近一个多小时)，考虑到多是Maven中央源在国内下载比较慢，所以能够再 ~/.m2 下的settings.xml 中添加阿里云的源，速度会快不少。

   $ build/sbt assembly
   Attempting to fetch sbt
   ...
   [info] Done packaging.
   [success] Total time: 1872 s, completed Feb 17, 2019 1:53:19 PM
   
   $ build/sbt package

4. 验证安装是否成功
   $ bin/spark-shell

IDEA中查看代码