python调用pyspark的环境配置

1.安装jdk并配置JAVA_HOME以及添加到环境变量中。
2.首先在本地安装spark的运行环境,如果是纯粹使用spark,那么本地可以不配置hadoop_home。
在这里插入图片描述
下载好压缩文件之后进行解压,本地新建spark_home文件夹,之后配置环境变量SPARK_HOME,在PATH中添加%SPARK_HOME%\bin。
3.使用pyspark之前首先安装python,这里安装了python,但是为了方便管理包,这里使用anaconda+pycharm的方式跑python代码。新建环境变量PYTHONPATH添加pyspark到环境变量中去。
在这里插入图片描述
4.验证连接pyspark运行成功。
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/sheep8521/article/details/82982032
今日推荐