Spark2.2.2源码分析：1.代码阅读环境准备

• 准备工作（仅针对于mac环境）
• ‘版本

软件	版本
操作系统	MAC
Jdk	1.8
Maven	3.3.9+
Scala	2.10.6
Spark   扫描二维码关注公众号，回复： 4406075 查看本文章	2.2.2
Hadoop	2.7.3

 

文件下载

 

网盘链接:https://pan.baidu.com/s/1-pSsko6D5K8YleSmNsnTTg  密码:q0u9

 

配置环境变量 (软件自行解压配置)

bogon:~ sysadmin$ bogon:~ sysadmin$ more ~/.bash_profile   export MAVEN_HOME=/tools/apache-maven-3.3.9 export PATH=$PATH:$MAVEN_HOME/bin   export SCALA_HOME=/tools/scala-2.11.8 export PATH=$PATH:$SCALA_HOME/bin   export JAVA_HOME=/Library/java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home export PATH=$PATH:$JAVA_HOME/bin     export HADOOP_HOME=/tools/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin   export HADOOP_USER_NAME=hadoop export PATH=$PATH:$HADOOP_USER_NAME

 

 

• Spark源码

 

导入IDEA

 

 

 

maven记得下载源码和文档

 

 

​​​​​​​修改pom.xml文件

1. 将软件中使用的版本全部修正一下，指向已经配置好的版本
   1. scala.version
   2. hadoop.version
2. 修改一个参数

<useZincServer>false</useZincServer>

 

整体pom.xml文件见网盘

 

​​​​​​​执行编译命令

mvn -T 1C -Pyarn -Phadoop-2.7 -DskipTests clean package

注：使用脚本编译的时候，其实也是采用maven编译，所以一定要确保编译成功不要报错,不然后面没办法debug