1、确保已经安装jdk和anaconda3。【我安装的jdk为1.8，anaconda的python为3.6】
2、安装spark，到官网 http://spark.apache.org/downloads.html 上下载，我下载的是spark-2.3.1-bin-hadoop2.7.tgz。
（1）将上面的压缩包解压在一个文件夹下：注意存放的路径一定不能带空格，我存放在目录下E:\programs2\spark\spark-2.3.1-bin-hadoop2.7，然后将其加入环境变量中。
新建：SPARK_HOME = 'E:\programs2\spark\spark-2.3.1-bin-hadoop2.7'
在Path中添加：
%SPARK_HOME%\bin
%SPARK_HOME%\sbin
（2）配置anaconda的python环境变量：
新建 PYTHONPATH = %SPARK_HOME%\python\lib\py4j-0.10.7-src;%SPARK_HOME%\python\lib\pyspark
（3）将E:\programs2\spark\spark-2.3.1-bin-hadoop2.7\python\pyspark整个文件夹复制到Anaconda3\Lib\site-packages文件夹中。
（4）添加系统环境变量
变量名：PYSPARK_DRIVER_PYTHON；变量值：ipython
变量名：PYSPARK_DRIVER_PYTHON_OPTS；变量值：notebook
3、安装Hadoop
到官网上下载hadoop-2.7.3.tar.gz，然后解压缩在E:\programs2\hadoop\hadoop-2.7.3
并且还需winutils.exe，winutils.pdb等，可在https://github.com/srccodes/hadoop-common-2.2.0-bin下载，然后复制到目录为：E:\programs2\hadoop\hadoop-2.7.3\bin
添加环境变量 HADOOP_HOME = E:\programs2\hadoop\hadoop-2.7.3
在Path中添加：%HADOOP_HOME%\bin;%HADOOP%\sbin
4、确认是否安装成功
当输入命令pyspark出现界面时表明spark安装配置完成了，如果环境变量配置成功的话，直接把jupyter notebook打开。
参考：https://www.e-learn.cn/content/python/786199