Mac上配置IntelliJ IDEA的Spark源码阅读环境

版权声明：欢迎转载，注明出处即可 https://blog.csdn.net/yolohohohoho/article/details/87528171

环境准备

主要工具/软件

1. git
2. Intellij IDEA & Scala Plugin
3. sbt

Git 安装

IntelliJ IDEA 下载及 Scala 插件安装

IJ IDEA 下载连接： https://www.jetbrains.com/idea/download/#section=mac
安装完IDEA后，进入偏好设置，在搜索框搜索scala，然后安装scala 插件。

sbt 安装

Mac 我安装了Homebrew，所以使用的以下代码安装sbt：

	$ brew install sbt@1

其他安装方法请参阅官方文档

基本步骤

获取git目录

1. Fork apache spark 项目
2. Clone spark目录到本地
   $ git clone [email protected]:lestatzhang/spark.git
3. 保持fork后的原项目同步

   $ cd spark;
   $ git remote -v;
   origin	[email protected]:lestatzhang/spark.git (fetch)
   origin	[email protected]:lestatzhang/spark.git (push)
   $ git remote add upstream https://github.com/apache/spark.git;
   $ git remote -v;
   origin	[email protected]:lestatzhang/spark.git (fetch)
   origin	[email protected]:lestatzhang/spark.git (push)
   upstream	https://github.com/apache/spark.git (fetch)
   upstream	https://github.com/apache/spark.git (push)
   

4. 抓取原项目的修改记录

   $ git fetch upstream
   

5. 同步远端项目到本地

   $ git pull upsteam master
   From https://github.com/apache/spark
   * branch                  master     -> FETCH_HEAD
   Already up-to-date.
   

6. 建立一个新的分支用于本地查看
   $ git checkout -b dev

在IDEA中构建spark

1. 切换到dev分支
   $ git checkout dev
2. 在IDEA中利用打开spark项目的pom.xml来打开整个spark项目
3. 进入spark的安装目录，使用sbt构建spark项目(花了将近一个多小时)，考虑到可能是Maven中央源在国内下载比较慢，因此可以再 ~/.m2 下的settings.xml 中添加阿里云的源，速度会快很多。

   $ build/sbt assembly
   Attempting to fetch sbt
   ...
   [info] Done packaging.
   [success] Total time: 1872 s, completed Feb 17, 2019 1:53:19 PM
   
   $ build/sbt package
   

4. 验证安装是否成功
   $ bin/spark-shell

IDEA中查看代码