win10 安装单机版 pyspark

参考这篇博客: https://blog.csdn.net/weixin_38556445/article/details/78182264

默认已经电脑已经安装java 和 python。

1  需要安装spark 和 hadoop (python3.6 需要spark2.1以上版本)

两者作相同处理:解压之后,还需要完成SPARK_HOME和bin环境变量相关配置;HADOOP_HOME  和bin 环境变量的配置。

2   下载hadoop 版本对应的winutils.exe

将winutils.exe文件放到Hadoop的bin目录下(我的是E:\spark\spark-2.1.0-bin-hadoop2.7\bin),然后以管理员的身份打开cmd,然后通过cd命令进入到Hadoop的bin目录下,然后执行以下命令:

winutils.exe chmod 777 c:\tmp\Hive

3  在pycharm做如下设置:否则会报错:Could not find valid SPARK_HOME

猜你喜欢

转载自blog.csdn.net/qq_34333481/article/details/85341119