MAC配置Spark避坑

根据这个课程进行配置 https://www.bilibili.com/video/av27076260/?p=10

依次安装配置了

• vagrant
• virtualbox
• java12（对，问题就出在这里，按照课程讲的安装java没有成功，就自己安装了最新的java12）
• spark

启动pyspark一直报错：

Exception: Java gateway process exited before sending its port number

各种查资料后（主要是这个页面https://github.com/jupyter/jupyter/issues/248），找到原因：不能安装最新的java12，必须是java8! 并且需要配置java和spark的环境变量

然后，

1. 依据这里卸载java12https://blog.csdn.net/mouday/article/details/81085546
2. 依据这里的https://github.com/jupyter/jupyter/issues/248最后一个回复的语句安装java8:

brew tap caskroom/versions
brew cask install java8

   3.配置java环境变量（这个资料比较多，可以自己百度，我是这样配置的)：

     在~/.bash_profile文件最后加入：

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home
PATH=$JAVA_HOME/bin:$PATH:
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export JAVA_HOME
export PATH
export CLASSPATH

   4.配置spark环境变量（资料同样有很多）：

    在~/.bash_profile文件加入：

export SPARK_HOME=/Users/username/opt/spark-2.4.1-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin

   5.最后别忘了让source ~/.bash_profile使配置文件生效。