macbook 安装spark以及和jupyter搭配使用

1.首先macbook需要安装java环境 (记得配置环境变量)

2.安装spark：  

brew install apache-spark    

安装成功 apache-spark的默认安装位置： /usr/local/Cellar/apache-spark/2.4.4

配置环境变量 sudo vim /etc/profile

# spark

export SPARK_PATH="/usr/local/Cellar/apache-spark/2.4.4"

export PATH="$SPARK_PATH/bin:$PATH"

使配置文件生效：

source /etc/profile

在Terminal中运行 pypspark  运行成功 

3.安装pyspark： sudo -H pip install pyspark —user

4.配置pyspark的ipython环境

扫描二维码关注公众号，回复： 8607723 查看本文章

在jupyter notebook中使用pyspark，需要配置环境变量

➜ which python3

/Users/qfikh/anaconda3/bin/python3

# 配置pyspark的ipython环境  基于python3
export PYSPARK_PYTHON="/Users/qfikh/anaconda3/bin/python3"
export PYSPARK_DRIVER_PYTHON="/Users/qfikh/anaconda3/bin/ipython3"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
alias pysbook='$SPARK_PATH/bin/pyspark'

在terminal中输入pyspark或者pysbook(别名)，可以直接运行带spark的ipython notebook。创建一个ipynb的文件即可运行spark命令。

参考：https://www.jianshu.com/p/f284b77289ca